搭建简易动态ip代理池

代理池架搭建准备工作

首先需要先安装Redis数据库并加以启动，，另外还需要安装aiohttp，request，redis-py，pyquery，flask库等

代理池的目标

首先我们可以划分为四个模块：存储模块，获取模块、检测模块，接口模块。
下面介绍一下四个基本模块的详细信息：
存储模块： 负责存储抓取下来的代理。首先要保证代理不重复，要标识代理的可用情况，还要动态实时处理每个代理，所以一种比较高效和方便的存储方式就是使用redis的SortedSet，即有序集合。
需要定时在各大代理网站中抓取代理。代理可以是免费公开代理也可以是付费代理，代理的形式都是ip加端口，此模块尽量从不同来源获取，尽量抓取高匿代理，抓取成功之后将可用的代理保存到数据库中。

检测模块：定时检测数据库中的代理。设置检测连接爬取网站，设置分数标识，100分代表可用，分数越小代表越不可用。我们可以先将每一个代理值初始化设置为10分，然后测试每个获取的代理，可用将其设置为100分，反之减一分，当分数减到一定阀值得时候，代理直接从数据库中移除，辨别代理可用情况会更有针对性。

获取模块：我们可以写一个元类，通过一个公共的自定义的crawl方法开头然后，然后通过遍历获取方法的名字，调用各个子crawl方法，crawl方法里面是编写各个免费的ip代理网站，抓取的方法，这样就可以完成ip的获取。

接口模块：需要用API来提供对外服务的接口。其实对我们可以直接连接数据库来取对应的数据，就不需要知道数据库的连接信息，通过web API接口的方式获取随机返回的代理，保证每一个都能取到，实现负载均衡