最近在做爬虫,主要使用过了selenium包,但是发现selenium包直接调用本地浏览器,启动的是一个全新的(与手动打开的不一致),很多网站可以检测到,为了避免这个坑,给碰到相同问题的同伴提供思路,写下此文,希望对大家有所帮助。
1.打开谷歌浏览器;
2.在搜索框直接输入chrome://version/,找到“个人资料路径”;
注意:不要复制Default。
3.代码
from selenium import webdriver option = webdriver.ChromeOptions() option.add_argument(r'--user-data-dir=C:\Users\Liu\AppData\Local\Google\Chrome\User Data') option.add_experimental_option('excludeSwitches', ['enable-automation']) driver = webdriver.Chrome(options=option)
此时启动的浏览器和本地直接打开浏览器内容一致,可以跳过部分网站对selenium的检测机制。