【selenium】绕过selenium检测及模拟手机浏览器

1、Chrome 版本小于88

web = Chrome()
# 在启动浏览器之前添加这段js代码即可
web.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocumemt",{
       "source": """
                  navigator.webdriver = undefined
                      Object.defineProperty(navigator,'webdriver',{
                          get:() ==> undefined
                              })
                  """
                  })
web.post(url,data,headers)

2、Chrome版本大于等于88

option = Options()
# 某些网站监控到时selenium就不会返回任何信息，加上词句就可以正常运行了
option.add_argument('--disable-blink-features=AutomationControlled')
web = Chrome(options=option)
web.get(url)

3、其他的浏览器操作

# 一般会在浏览器设置无头模式
option = Options()
option.add_argument('--headless')
web = Chrome(optinos=option)

# 浏览器打开开发者模式
option.add_argument("--auto-open-devtools-for-tabs")

# 现在不少大网站有对selenium采取了监测机制。比如正常情况下我们用浏览器访问淘宝等网站的 window.navigator.webdriver的值为 undefined。而使用selenium访问则该值为true。那么如何解决这个问题呢？

#只需要设置Chromedriver的启动参数即可解决问题。在启动Chromedriver之前，为Chrome开启实验性功能参数excludeSwitches，它的值为['enable-automation']
option.add_experimental_option('excludeSwitches', ['enable-automation'])

# 设置模拟手机浏览器，方法一：
mobile_emulation = {'deviceName': 'iPhone X'}
chrome_options.add_experimental_option("mobileEmulation", mobile_emulation)
# 设置模拟手机浏览器，方法二：
WIDTH = 320
HEIGHT = 640
PIXEL_RATIO = 3.0
UA = 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_1 like Mac OS X) AppleWebKit/602.2.14 (KHTML, like Gecko) Version/10.0 MQQBrowser/8.8.2 Mobile/14B72c Safari/602.1 MttCustomUA/2 QBWebViewType/1 WKType/1'

mobileEmulation = {"deviceMetrics": {"width": WIDTH, "height": HEIGHT, "pixelRatio": PIXEL_RATIO}, "userAgent": UA}
options = webdriver.ChromeOptions()
options.add_experimental_option('mobileEmulation', mobileEmulation)