python获取代理(终极版本)

最新推荐文章于 2022-07-22 18:07:22 发布

HelloHaibo

最新推荐文章于 2022-07-22 18:07:22 发布

阅读量2.4w

点赞数 4

分类专栏： python 文章标签：函数 python 代理IP 模块化爬虫

本文链接：https://blog.csdn.net/hellohaibo/article/details/77601380

版权

首先感谢各个提供免费代理IP的网站，虽然IP质量不能保证，但是科技改变生活，让我们开始用程序来“淘金”吧。

 
 之前做过一次获取代理IP（网址可以参考顶部友情链接）由于刚开始玩这些，有些缺点没发现，运行几次后发现了问题，在此花了一下午加熬夜到凌晨3点，把程序修改到第三版，效果目前来说还算满意。 

 
 1、第一版是从代理网站过去一次IP，经检查后，重复使用，直到一个IP两次都是无效的，则从列表删除 

 
 优点：IP利用率高，访问代理网站次数少 

 
 缺点：直接使用本机IP访问，速度慢，一次一个 

 
 2、第二版从代理网站获取一次IP，然后全部使用一次，全部丢弃，再重新访问 

 
 优点：速度快 

 
 缺点：IP利用率不高，本机IP容易被网站（抓取代理IP的网站）服务器加入黑名单，返回503拒绝服务错误，本人亲身经历 

 
 3、第三版从网站获取代理IP后，再反向使用获取的代理IP爬取代理网站 

 
 优点：多线程，速度快&#

关注