selenium反爬机制以及一些小问题的解决办法

龚子小哥哥�

已于 2023-03-15 01:18:45 修改

阅读量721

点赞数

文章标签： selenium python 测试工具

于 2023-03-13 22:55:16 首次发布

本文链接：https://blog.csdn.net/GH_12138/article/details/129507507

版权

文章讲述了如何使用selenium进行无头浏览器设置，包括添加实验性选项以防止浏览器秒关闭，禁用特定自动化特征，以及隐藏navigator.webdriver属性来规避反爬检测。同时，介绍了通过设置用户数据目录来实现cookie验证，以便在每次启动时加载已有缓存信息。

摘要由CSDN通过智能技术生成

options = webdriver.ChromeOptions()

设置无头浏览器

options.add_argument('--headless')

解决秒关闭

#解决浏览器秒关闭操作     
options.add_experimental_option("detach", True)

1、用户正常访问该值为false。使用selenium时该值为true。

解决方法：去除参数

#selenium反爬操作     
options.add_experimental_option('excludeSwitches',['enable-automation'])   
options.add_experimental_option('useAutomationExtension', False)    
#隐藏特征内容     
options.add_argument("--disable-blink-features=AutomationControlled") 
#给定一个Chrome对象 
browser = webdriver.Chrome(options=options) 
##加载json代码，修改浏览器配置属性，混淆浏览器  
browser.execute_cdp_cmd(
    'Page.addScriptToEvaluateOnNewDocument',        
    {'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'}     
)

2、cookie验证

解决方法：设置缓存路径，每次启动selenium加载对应缓存

#使用已经有缓存信息的浏览器运行程序
option.add_argument('--user-data-dir=C:\\Users\\用户名\\AppData\\Local\\Google\\Chrome\\User Data') 
option.add_argument('--profile-directory=Default') browser = WebChrome(options=option)