Python搭建代理池，为你的爬虫程序保驾护航！

由于爬虫工作往往有大量数据需要爬取，便需要大量的备用IP更换，这时就需要用到代理IP池。将大量可以用于更换的代理IP汇聚要一起，便于管理和调用，IP池就这样产生了。IP池有一下特征：它里面的IP是持续补充的，会有源源不断的新的IP被加入到池子中。它里面的IP是有生命周期的，一但失效就会被清除出 IP池；它里面的IP是可以被任意取出，方便爬虫用户使用的。

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！??¤
QQ群：623406465

免费ip其实是不适合搭建代理池的，因为数量上面不具备优势，而且很耗时，大家需要用时间来一一排查，要做就要做好，建议大家还是选择专业一点的提供商。

代理池主要分四个部分：IP抓取，IP有效性检测，IP存储，webAPI提供。示意图如下:

 

数据库选择redis，它的有序集合可以给插入值赋于一个"分数"用于排序存取值等等，我们可以利用分数绑定ip的可用性进行提取及检测管理。Redis有序集合的基本操作

• 爬取模块

该模块主要是采用爬虫去付费api或者代理网站来获取ip，加入数据库并设置初始分数50分。
在这里我采用了aiohttp异步采集，提高效率。所有爬虫基于父类开发。

class BaseCrawler(object):
    urls = []
    # new_loop = asyncio.new_event_loop()
    # asyncio.set_event_loop(new_loop)
    LOOP = asyncio.get_event_loop()
    asyncio.set_event_loop(LOOP)

    @retry(stop_max_attempt_number=3, retry_on_result=lambda x: x is None)
    async def _get_page(self, url):
        async with aiohttp.ClientSession() as session:
            try:
                async with session.get(
                        url,  timeout=10
                ) as resp:
                    # print(dir(resp.content),resp.content)
                    return await resp.text()
            except:
                r