学习笔记(11):21天搞定分布式Python网络爬虫-urllib库-ProxyHandler处理器

立即学习:https://edu.csdn.net/course/play/24756/280661?utm_source=blogtoedu

ProxyHandler处理器（代理设置）：

解决封IP问题，很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问 次数多的不像正常人，它会禁止这个IP的访问。
http://httpbin.org：查看http请求的一些参数。
常用的代理有：

西刺免费代理IP：http://www.xicidaili.com/

 快代理：http://www.kuaidaili.com/ 

代理云：http://www.dailiyun.com/

 

handler = request.ProxyHandler({'http':'122.193.244.243:9999'})

opener = request.build_opener(handler)

resp = opener.open(url)