代理IP 有效性检测

摘要

昨天下午的时候，真的是无语至极。本以为CSDN上博友们应都是与人为善类型的。没想到都博客专家级别的了，出口竟是如此不堪。难道请教问题就得是一副高高在上，别人必须给你解决问题，给你代码吗？

对于此类人，我不做过多评价。我只会在心里默默说一句，好自为之吧。希望此后永远不会有交集！

---

言归正传，写爬虫的时候。难免会使用代理IP技术。于Python中调用代理IP实则是一件轻松的事，但是有一个不大不小的问题，那就是代理IP的有效性。

往往做爬虫的时候会事先爬取很多的代理ip作为备用，但是有些可能还用，有些可能就失效了。所以程序会因此变得不甚稳定。于是在爬虫运行之前，保证代理IP的高可用性，是有一定的必要的。

今日，就来做这么一件“清洗”工作。

原理

当然，测试代理IP有效性的方法有很多。我想到的无非也就其中一种，不具权威性，仅供参考罢了。

我个人认为，测试代理IP有效性还是得从服务器端下手，毕竟代理IP是要去访问真正的服务器端的。所以在服务器端进行验证最合适不过了。服务器端验证完毕之后，将结果返回给客户端，如此“清洗”工作就可以据此完成。保留有效的代理IP，去除失效的代理IP。

接下来