百度搜索引擎爬取,另外安全验证机制

今天在做百度搜索的搜索页爬虫,各类元素都很好找,但是请求了三四次就返回百度安全验证,找不到页面

就是这样的返回响应

image-20250303110033569

在网上也找了很多方法,包括但不限于(requests库更换urllib.request库,更换代理,加入cookie,添加force_refresh参数,更换http请求)

image-20250303110248812

有的虽然可行,但是请求了一两次就直接寄了,大家有没有什么比较稳定的方法?

百度的安全验证逻辑应该就是某个ip多次请求会给你封一段时间吧

目前加了代理,并且更改了一些其他功能,第一次请求反正没问题,不知道后来怎么样

功能,第一次请求反正没问题,不知道后来怎么样

image-20250303111932123
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shix .

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值