记录一次反selenium爬虫经历

1.起因：使用selenium爬取某网站，第一次爬取成功了，时隔半个月在执行脚本发现翻页不好使，打开控制台发现几个错误，然后使用默认谷歌浏览器打开就没问题，猜想是反爬虫了。

2.解决方案：

options = webdriver.ChromeOptions()
#使用chrome开发者模式
options.add_argument("--disable-blink-features=AutomationControlled")
#禁用启用Blink运行时的功能
options.add_argument("--disable-blink-features=AutomationControlled")
#Selenium执行cdp命令
driver = webdriver.Chrome(options=options)
    driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
        "source": """
                    Object.defineProperty(navigator, 'webdriver', {
                      get: () => undefined
                    })
                  """
    })

按照如上设置再次执行脚本则可以继续访问了。

参考文献：selenium被识别的解决方法_HelloW先生的博客-CSDN博客_selenium爬虫被识别