最近发现在用Selenium请求某网站时一打开就闪退,打开其他网站没问题
于是加了一个time.sleep()等待,然后F12看了一下请求状态。是被拒绝,400 Bad Request
被服务器拒绝大概率是被反爬了
于是试了一下添加headers,发现还是不行
chrome_options.add_argument('Accept=text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9')
chrome_options.add_argument('Accept-Encoding=gzip, deflate, br')
chrome_options.add_argument('Accept-Language=zh-CN,zh;q=0.9')
chrome_options.add_argument('Cache-Control=no-cache')
chrome_options.add_argument('Connection=keep-alive')
chrome_options.add_argument('User-Agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36')
其实selenium本身就是一个浏览器,上面那些倒是不用加的,就UA可以弄一个UA池,随机抽取做更新
既然不是请求头,那就是其他原因,网上查了一下,找到了解决方法
解决方法
发现浏览器window对象有个属性window.navigator.webdriver
正常情况下为false(可以在console里打出来)
使用chromedriver时为true
使用下面的方法即可去除webdriver特征:
chrome_options = Options()
chrome_options.add_argument("--disable-blink-features")
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)
browser = webdriver.Chrome(executable_path=os.path.abspath('./My_Utils/chromedriver.exe') , options=chrome_options)
browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""})
browser.get(url)
time.sleep(20)