爬虫使用免费代理池

爬虫使用免费代理池

    最近研究使用代理ip结合进爬虫，以防止爬虫受到封ip的反爬虫措施而无法继续进行爬取，然后找了一阵，原本想着自己写个爬虫爬取免费的一些代理ip的网页，但是后面想了想，我们不用重复造轮子！?然后我就找到了有牛人已经写好了的免费代理池的，那就直接用吧！

自建ip代理池的思路?

一般都是：

1.找到多个提供免费代理ip的站点，然后定时（设定间隔）对这些站点进行提取免费代理ip

2.把代理ip入库

3.设定另一个进程或者线程对入库的免费ip设定间隔进行验证可用性，如果不可用就删除掉

4.还可以设定一个简单的api接口，作为外部可以方便调用代理池中的代理ip

?大概都是这样的思路，所以我们可以不重新发明轮子。站在巨人的肩膀上去继续创造才对。

正文

这次使用的是github这个开源代理ip池。

https://github.com/jhao104/proxy_pool

1.下载解压

2.按要求安装好所需py库，还有redis

3.照着菜鸟教程去下载好 redis

https://www.runoob.com/redis/redis-install.html

4.开启 redis，并且配置好代理池的数据库设置

    进入解压到的redis目录下执行（我的是win）打开命令行，启动redis，注意这个时候不要关闭redis的这个命令行的窗口。

redis-server.exe redis.windows.conf

5.按要求在代理池目录下命令行启动代理池脚本

# 到Run目录下:
>>>python main.py

    然后就可以看到第二个命令行窗口有输出了，使用的时候直接用python把api封装成函数就可取出来结合别的爬虫使用??（笔者这儿使用的是python3 作为开发环境）

# 使用requests 来直接调用api，封装成函数，方便程序内使用
def getLocalProxyIP()->str:      # 每次提取可用代理ip中的一个代理ip
    return requests.get("http://127.0.0.1:5010/get/").text

    然后我们就可以在我们的爬虫的请求中加入代理ip的使用拉，无论是手写的requests爬虫还是scrapy框架爬虫，都可以结合进去了。

总结：

    这次这样我们就可以直接使用开源库获得自维护的免费ip代理池了??。喜欢请给文章点个赞，还可以关注我们，我们每周定期更新好玩的文章。