本文介绍了为何在爬虫中使用代理，通过ProxyHandler设置代理，并列举了几个常用的代理网站。代理的主要作用是避免频繁访问同一网站导致IP被封。代理的工作原理是先请求代理服务器，再由代理服务器访问目标网站并返回数据。可以使用httpbin.org检查代理是否生效。文章还提供了使用代理的Python代码示例。
你问我为啥用代理?
这问题问的好?如果可以不用,为啥偏偏要麻烦的使用代理呢?
其实啊,很多网站会检测某一时间某个ip的访问次数(通过流浪统计,系统日志等),如果访问次数多的不像正常人(正常人谁会对着一个网页一分钟刷新个上百次???),网站就会禁止这个ip的访问(通俗的将就是拉进黑名单了,哎呀你们是不是想起了追女神给发100条消息,女神把你拉进黑名单)
言归正传,因此啊,我们可以设置一些代理服务器,每隔一段时间换一个代理,就算ip被禁止,依然可以换个ip继续使用(一个人有多个微信号,一个微信号用一种方法撩女神?女神拉黑了就换个微信号?是这样理解的吧).大家这样理解哈,虽然看起来很腹黑(不是看起来),但是有助于理解下面的代码和思想
urllib中通过ProxyHandler来设置代理服务器,下面代码说明如何使用自定义opemer来使用代理:
代理的使用
#encoding: utf-8
from urllib import request
最低0.47元/天 解锁文章
扫一扫
285
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
