undetected_chromedriver解决网页被检测

一、问题分析

selenium打开浏览器模仿人工操作是诸多爬虫工作者最万能的网页数据获取方式，但是在做自动化爬虫时，经常被检测到是selenium驱动。比如前段时间selenium打开维普高级搜索时得到的页面是空白页，懂车帝对selenium反爬也很厉害。

二、Selenium为何会被检测

主要原因是selenium打开的浏览器指纹和人工操作打开的浏览器指纹是不同的，比如最熟知的window.navigator.webdriver关键字，在selenium打开的浏览器打印返回结果为true，而正常浏览器打印结果返回为undefined，我们可以在(https://bot.sannysoft.com/)网站比较各关键字。

三、Selenium防检测方法

1. 修改window.navigator.webdriver关键字返回结果

from selenium import webdriver
options = webdriver.ChromeOptions()

# 此步骤很重要，设置为开发者模式，防止被各大网站识别出来使用了Selenium
driver = webdriver.Chrome(options=options)
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
   
            "source": """
            Object.defineProperty(navigator, 'webdriver', {
              get: () => undefined
            })
            """
        })

但是因为浏览器指纹很多，这种方法的局限性是显而易见的。

2. 使用stealth.min.js文件防止selenium被检测

import time
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument("--headless")
chrome_options.add_argument(&