代理服务的介绍:
我们在做爬虫的过程中经常最初爬虫都正常运行,正常爬取数据,一切看起来都是美好,然而一杯茶的功夫就出现了错误。
如:403 Forbidden错误,“您的IP访问频率太高”错误,或者跳出一个验证码让我们输入,之后解封,但过一会又出现类似情况。
出现这个现象的原因是因为网站采取了一些反爬中措施,如:服务器检测IP在单位时间内请求次数超过某个阀值导致,称为封IP。
为了解决此类问题,代理就派上了用场,如:代理软件、付费代理、ADSL拨号代理,以帮助爬虫脱离封IP的苦海。
测试HTTP请求及响应的网站:http://httpbin.org/
GET地址 :http://httpbin.org/get
POST地址:http://httpbin.org/post
httpbin这个网站能测试 HTTP 请求和响应的各种信息,比如 cookie、ip、headers 和登录验证等.
且支持 GET、POST 等多种方法,对 web 开发和测试很有帮助。
代理的设置:
① urllib的代理设置
from urllib.error import URLError
from urllib.request import ProxyHandler, build_openerproxy = '127.0.0.1:8888'#需要认证的代理#proxy = 'username:password@127.0.0.1:8888'#使用ProxyHandler设置代理proxy_handler = ProxyHandler({ 'http': 'http://' + pr