python实战笔记之（5）：使用Redis+Flask维护动态代理池

在做爬虫的时候，可能会遇到IP被封的问题，利用代理就可以伪装自己的IP进行爬虫请求。在做爬虫请求的时候需要很多代理IP，所以我们可以建立一个代理池，对代理池中的IP进行定期的检查和更新，保证里面所有的代理都是可用的。这里我们使用Redis和Flask维护一个代理池，Redis主要用来提供代理池的队列存储，Flask是用来实现代理池的一个接口，用它可以从代理池中拿出一个代理，即通过web形式把代理返回过来，就可以拿到可用的代理了。

（1）为什么要用代理池

• 许多网站有专门的反爬虫措施，可能遇到封IP等问题。
• 互联网上公开了大量免费代理，要利用好资源。
• 通过定时的检测维护同样可以得到多个可用代理。

（2）代理池的要求

• 多站抓取，异步检测
• 定时筛选，持续更新
• 提供接口，易于提取

（3）代理池架构

架构最核心的部分是“代理队列”，我们要维护的就是这个队列，里面存了很多代理，队列可以用python的数据结构来存，也可以用数据库来存。维护好队列我们需要做两件事情：第一，就是向队列里添加一些可用的代理，获取器从各大网站平台上把代理抓取下来，临时存到一个数据结构里面，然后用过滤器对这些代理进行筛选。筛选的方法也很简单，拿到代理之后，用它请求百度之类的网站，如果可以正常地请求网站，就说明代理可用，否则就将它剔除。过滤完之后将剩余可用的代理放入代理队列。第二，就是对代理队列进行定时检测，因为经过一段时间之后，代理队列里的部分代理可能已经失效，这就需要定时地从里面拿出一些代理，重新进行检测，保留可用的代理，剔除已经失效的代理。最后我们还需要做一个API，通过接口的形式拿到代理队列里面的一些代理。

（4）代理池实现

项目参考来源：https://github.com/germey/proxypool

修改后的程序可以直接下载

各模块功能

• getter.py