selenium 反屏蔽和无痕模式

1、

现在很多网站增加了对selenium的检测，防止一些爬虫的恶意爬取，如果检测到有人使用selenium打开浏览器，就直接屏蔽。

在大多数情况下，基本都是检测window.navigator对象中是否包含webdriver 属性。因为在正常的使用浏览器时，这个属性应该是undefined，一旦使用了Selenium，它就会默认给window.navigator对象设置webdriver属性。我们可以利用CDP(chrome开发工具协议)解决这个问题，利用它可以实现在每个页面刚加载的时候就执行javascript语句，将webdriver属性置空。这里执行CDP的方法是Page.addScriptToEvaluateOnNewDocument，将上面的javascript语句传入其中即可。另外，还可以加入几个选项来隐藏webdriver提示条和自动化扩展信息,

隐藏自动化扩展信息:

options.add_experimental_option('excludeSwitches', ['enable-automation'])
options.add_experimental_option("useAutomationExtension", False)

如下图，已经去除了"chrome正受到自动测试软件的控制“字样:

将window.navigator中的webdriver属性设为空 ：

brower.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {

  "source": """

    Object.defineProperty(navigator, 'webdriver', {

      get: () => undefined

    })

  """

})

网页正常显示了:

2、无痕模式

selenium如果不希望打开chrome浏览器，可以设置无痕模式，如果要截图，最好设置页面的大小:

options.add_argument('--headless')

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver import ChromeOptions
import time

options=ChromeOptions()

options.add_argument('--ignore-certificate-errors')
options.add_argument('--ignore-ssl-errors')
options.add_argument('--headless')


options.add_experimental_option('excludeSwitches', ['enable-automation'])
options.add_experimental_option("useAutomationExtension", False)
brower=webdriver.Chrome(options=options)
brower.set_window_size(1400,800)
brower.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
  "source": """
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
    })
  """
})
brower.get('https://www.baidu.com/')
time.sleep(5)
brower.get_screenshot_as_file('preview.png')