Python--urllib.request访问的隐藏

使用urllib.request去进行直接的数据访问,次数过多,会被识别到非正常的访问,此时需要对请求进行隐藏

方法一:增加header,请求头的user-agent告诉了服务器访问的设备类型和浏览器等信息,将这部分内容加入请求中,需要使用urllib.request.Request,这个函数相比于urlopen更完整,可以加入headers等信息

如下图实例

方法二:使用add_header():urllib有专门用于添加头的方法,直接可以加入

 虽然使用header做了一定隐藏,但长时间后还是会被辨别到非正常,此时可以使用两种方式进行进一步隐藏:

1. 延迟提交时间:如果是持续访问的请求,可以使用time模块,增加每次运行的等待时间

2.使用代理:urllib库有专门的设置代理方法urllib.request.ProxyHandler(),里面的参数为类型,代理ip和端口号,然后再使用build_opener(),最后进行opener安装(永久代理)或者调用

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值