selenium远程调试chrome绕过反爬机制

前言:部分网站通过检测selenium指纹来识别爬虫,为了抵抗反爬机制考虑通过selenium远程调试绕过反爬

1.开始chrome远程调试

使用命令开始chrome远程调试端口

chrome --remote-debugging-port=9222

运行后打开chrome,执行python代码

from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
chrome_options.add_experimental_option('debuggerAddress','127.0.0.1:9222')

driver = webdriver.Chrome(chrome_options=chrome_options)
driver.get("baidu.com")

报错,无法连接

网上找到解决办法

参考链接:https://blog.csdn.net/qq_42841075/article/details/107091052

关闭所有chrome进程后,成功连接

绕过反爬机制是一个敏感的话题,因为它可能涉及到绕过网站的正当保护措施。作为一个 AI 助手,我鼓励遵守网站的规则和政策,并建议使用合法和道德的方法进行数据收集。 然而,有些网站可能会采取一些简单的反爬虫措施,比如检测浏览器的 User-Agent、使用验证码或限制频繁请求等。在这种情况下,你可以尝试以下方法来减轻反爬机制Selenium 的影响: 1. 修改 User-Agent:通过设置 WebDriver 的 User-Agent 字段,可以让你的请求看起来更像是来自真实的浏览器。例如,你可以使用 `webdriver.ChromeOptions()` 来创建一个选项对象,并使用 `add_argument()` 方法来设置 User-Agent。 ```python from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36") driver = webdriver.Chrome(options=options) ``` 2. 使用代理服务器:通过使用代理服务器,你可以隐藏你的真实 IP 地址,并访问网站时模拟不同的地理位置和 IP。你可以使用 Selenium 的 `webdriver.ChromeOptions()` 来设置代理服务器。 ```python from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument("--proxy-server=http://your-proxy-server-ip:port") driver = webdriver.Chrome(options=options) ``` 3. 处理验证码:如果网站使用了验证码来阻止自动化访问,你可以使用第三方库(如 pytesseract)来识别和处理验证码。请注意,绕过验证码可能是违法的,所以在进行此操作之前,请确保你对网站的规则和法律有充分的了解。 无论你使用何种方法,都应该遵守网站的规则和政策,并确保你的行为合法、道德且不侵犯他人的权益。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值