selenium打开网页被检测，怎么屏蔽和绕过

最新推荐文章于 2024-09-20 17:13:15 发布

m0_67401746

最新推荐文章于 2024-09-20 17:13:15 发布

阅读量8.0k

点赞数 10

分类专栏：面试学习路线阿里巴巴文章标签： android 前端后端

本文链接：https://blog.csdn.net/m0_67401746/article/details/126063328

版权

本文探讨了Selenium在自动化爬虫时遇到的被检测问题及其原因，包括不同浏览器指纹的关键字差异。文章介绍了三种防检测方法：修改关键字返回结果、使用stealth.min.js文件和undetected_chromedriver。stealth.min.js源自puppeteer插件，用于隐藏模拟浏览器的指纹特征，而undetected_chromedriver则能防止浏览器特征被识别。

摘要由CSDN通过智能技术生成

Selenium 操作被检测屏蔽

selenium打开浏览器模仿人工操作是诸多爬虫小白最万能的网页数据获取方式，但是在做自动化爬虫时，经常被检测到是selenium驱动。前段时间selenium打开维普高级搜索时得到的页面是空白页。
在这里插入图片描述

Selenium为何会被检测

主要原因是selenium打开的浏览器指纹和人工操作打开的浏览器指纹是不同的，比如最熟知的window.navigator.webdriver关键字，在selenium打开的浏览器打印返回结果为true，而正常浏览器打印结果返回为undefined，我们可以在
网站比较各关键字。

Selenium防检测方法

1. 修改`window.navigator.webdriver`关键字返回结果

from selenium import webdriver
options = webdriver.ChromeOptions()
# 此步骤很重要，设置为开发者模式，防止被各大网站识别出来使用了Selenium
driver = webdriver.Chrome(options=options)
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocum