python之selenium访问网站被反爬限制封锁解决方法

在访问某些网站时，selenium webdriver 开启网页失败，被发现为爬虫，目前我碰到的有效解决方案是：

1、因为selenium在命令行手动开启后的谷歌浏览器加了一些变量值，比如window.navigator.webdriver，在正常的谷歌浏览器是undefined，在selenium打开的谷歌浏览器是True，然后对方服务器就会下发js代码，检测这个变量值给网站，网站判断这个值，为True就是爬虫程序就封锁你的访问，如下图。

实现代码是在请求之前改变一些参数，绕过检测，具体细节可以自己了解下网站检测selenium的原理，需要设置对应其它的值都可以加：

　　# 下面代码本人是基于命令行打开再接管浏览器窗口，

　　from selenium import webdriver

　　options = webdriver.ChromeOptions()

　　

　　# chrome在79版之前用下面两行代码

　　#options.add_experimental_option("excludeSwitches", ["enable-automation"])

　　#options.add_experimental_option('useAutomationExtension', False)

　　

　　# -我是最新谷歌浏览器版本，chrome在79和79版之后用这个，

　　driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {

　　 "source": """

　　 Object.defineProperty(navigator, 'webdriver', {

　　 get: () => undefined

　　 })

　　 """

　　})

　　driver.get("这里填写你被反爬网站的链接")

行动吧，在路上总比一直观望的要好，未来的你肯定会感 谢现在拼搏的自己！如果想学习提升找不到资料，没人答疑解惑时，请及时加入扣群： 320231853，里面有各种软件测试+开发资料和技术可以一起交流学习哦。

最后感谢每一个认真阅读我文章的人，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走：

​

这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你！