python构建IP代理池（Proxy Pool）

基本原理

代理实际上指的就是代理服务器，它的功能是代理网络用户去取得网络信息 。也可以说它是网络信息的中转站 。

在我们正常请求一个网站时， 是将请求发送给 Web 服务器，Web 服务器把响应传回给我们 。 如果设置了代理服务器 ， 实际上就是在本机和服务器之间搭建了一个桥， 此时本机不是直接 向 Web 服务器发起请求，而是向代理服务器发出请求，请求会发送给代理服务器，然后由代理服务器再发送给 Web 服务器，接着由代理服务器再把 Web 服务器返回的响应转发给本机。 这样我们同样可以正常访问网页，但这个过程中 Web 服务器识别出的真实 IP 就不再是我们本机的 IP 了，就成功实现了 IP 伪装，解决爬虫中封IP的难题。

了解代理服务器的基本原理后，我们不禁会想到几个问题，代理IP从何而来？如何保证代理可用性？代理如何存储？如何使用这些代理？

• 获取代理IP： 爬取网站的免费代理。比如西刺、快代理之类有免费代理的网站， 但是这些免费代理大多数情况下都是不好用的，所以比较靠谱的方法是购买付费代理。当然，如果你有更好的代理接口也可以自己接入。
• 检测IP代理可用性： 因为免费代理大部分是不可用的，所以采集回来的代理IP不能直接使用，可以写检测程序不断的去用这些代理访问一个稳定的网站，看是否可以正常使用。
• 存储代理IP： 存储的代理IP首先要保证代理不重复 ， 要检测代理的可用情况，还要动态实时处理每个代理，本文利用来MongoDB存储，当然也可用其他方式存储。
• 使用代理：最简单的办法就是用 API 来提供对外服务的接口 。

 

IP代理池设计

我们了解了代理池的四大问题，所以我们可以根据这四个问题去分析设计一个代理池框架，我们可以分成四个模块。分别是获取模块、检测模块、存储模块、接口模块 。这样不仅有利于我们的维护，也使得可以更高效的完成我们的需求。

• 架构图

代码模块<