【python_爬虫】【代理池辅助接口】连接爬虫部分代码和IP代理池的辅助桥梁模块

在爬虫的过程中若爬取速度过快可能会导致IP地址被封,短时间内无法再去访问想要爬取的网站信息内容。

这时候我们就要去代理池模块中调取代理,若出现再次被封的情况再去从代理池中获取新的代理,如此循环。

但如果每次爬虫都要复写一段这样的调取代码,那为什么不做成一个模块后期使用引入呢?代理池辅助接口便由此诞生

思路:

根据前面分析该类中需有以下三种方法:

1.连接代理池,从代理池中把可用的IP代理地址以列表形式存储起来;

2.获取代理列表的首个代理作为初始代理IP;

3.检测到当前代理失效或者被封无法返回信息时剔除该代理,并从列表中读取下一个IP作为代理进行爬虫

在这边值得注意的是如果检测到代理列表为空,也就是代理都用完了,就再去调用连接代理池获取IP代理地址的模块,重新生成新的代理池,这样也就形成了一个闭合环,程序能够无限循环不中断。

具体代码如下:

#导入IP代理池获取IP模块
from ip_pool import IP_Pool


class ProxyHelper(object):
    IP_poll = []
    #列表当前索引
    poll_index = 0
    def __init__(self):
        self.get_proxy_from_ip_pool()
        #初始化代理IP地址
        self.proxy = self.IP_poll[self.poll_index]

    #得到代理IP地址
    def get_proxy(self):
        print('当前使用的IP是:'+self.proxy)
        return self.proxy

    #更新代理IP地址
    def update_proxy(self):
        #移除当前被封IP
        self.IP_poll.remove(self.IP_poll[self.poll_index])
        #判断IP列表是否为空
        if len(self.IP_poll):
            self.proxy = self.IP_poll[self.poll_index]
        else:
            self.get_proxy_from_ip_pool()
            self.proxy = self.IP_poll[self.poll_index]

    #从ip_pool接口得到可用IP地址列表
    def get_proxy_from_ip_pool(self):
        self.IP_poll = IP_Pool().ip_pool_func()


if __name__ == '__main__':
    ProxyHelper().update_proxy()

关于获取测试代理ip可以跳转至下面这个博文 :

https://blog.csdn.net/weixin_44354777/article/details/100803598

补充:多进程在Windows下运行必须从Main函数开始(if __name__ == '__main__'),否则会报错。

建议处理方式:在 scrapy 中 建立 run xx.py 中 scrapy crawl py文件名 上面先跑一遍代理池 (用多进程写的) 不会报错

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值