教你如何快速构建ip代理池！

最新推荐文章于 2024-08-01 11:53:57 发布

小张Python1

最新推荐文章于 2024-08-01 11:53:57 发布

阅读量1.2k

点赞数 2

分类专栏： python爬虫文章标签： ip代理池 python 爬虫

本文链接：https://blog.csdn.net/weixin_42512684/article/details/100690335

版权

python爬虫专栏收录该内容

12 篇文章 8 订阅

订阅专栏

做爬虫时，遇到访问太频繁IP被封是难以避免的，而本地单个IP是不足以进行大规模爬取，并且自己并不想购买付费代理，在这里构建一个IP代理池是非常有必要的。

代理池主要由5部分组成：ProxyGeter(代理获取模块)、RedisClient(代理管理模块，负责存储、删除、取出等基本操作)、Texter(代理可用性测试模块)和Web_Api(用户获取模块)。

ProxyGeter

从几个代理网站爬取最新的代理，并把代理存储到redis数据库中

RedisClient

主要实现ip的删、减、增等基本操作，
采用reids的几方面原因如下：

redis的hash数据结构可以为IP的有效性（根据可用性分为0-100）进行评分；
redis提供的key-value更方便地储存IP;
对于IP的存储、提取、删除、查询数量等功能会更加地快捷；

Texter

模块的主要目的是检测ip的可用性。提前设置好需要检测的网站站点，然后随机取出数据库中的代理，用获取到的ip来访问目标站点：

若访问无效，首先降低ip的分数等级（减10），其次做判断：若该ip的分数等级低于10分直接从reids数据库中删除；
若访问有效，首先增加ip的分数等级（加10），其次更新reids中该ip的分数等级；

Web_Api

为了让用户获取可用性ip更加方便一点，这里利用flask框架做了一个API，这个接口连接着redis数据库；

当打开这个api开关时,直接从redis数据库中随机获取一个分数等级高的ip,用户可以通过访问这个接口（提供的url）就可以获取相应的IP代理。

这四个模块时彼此独立的（例如，当检测一个ip不可用时，需要调用RedisClient来从数据库中删除这个ip），因此需要引入一个新的模块:Schedule来进行协调。

代理池的运作关系如下图：

代码实现部分

在构建ip代理池过程中，如果使用redis数据库和flask框架，则需要提前完成相关配置。

部分代码：

class Tester(object):
    def __init__(self):
        self.redis =Redisclient()

    async def text_single_proxy(self,proxy):
        '''
        测试单个代理的可用性；
        :param proxy: 单个代理；
        :return:
        '''
        conn = aiohttp.TCPConnector(verify_ssl=False)
        async with aiohttp.ClientSession(connector=conn) as session:
            try:
                if isinstance(proxy,bytes):
                    proxy =proxy.decode('utf-8')
                real_proxy = 'http://'+proxy
                async with session.get(TEXT_URL,proxy = real_proxy,timeout = 15) as response:
                    if response.status in VAILD_SATTUS_CODES:
                        self.redis.max(proxy)
                        print('')
                        print('代理可用',proxy)
                    else:
                        self.redis.decrease_proxy(proxy)
                        print('请求响应码不合法',proxy)
            except (TimeoutError,AttributeError):
                self.redis.decrease_proxy(proxy)
                print('代理请求失败')
    def run(self):

        '''
        调用主函数；
        :return:
        '''
        print('测试器开始运行')
        try:
            proxies = self.redis.get_all_prpxy()
            loop =asyncio.get_event_loop()
            #批量测试
            for i in range(0,len(proxies),BATCH_TEXT_SIZE):
                test_proxies = proxies[i:i+BATCH_TEXT_SIZE]
                tasks = [self.text_single_proxy(proxy) for proxy in test_proxies]
                loop.run_until_complete(asyncio.wait(tasks))
                time.sleep(5)
        except Exception as e:
            print('测试器发生错误',e.args)