爬虫使用免费代理池
最近研究使用代理ip结合进爬虫,以防止爬虫受到封ip的反爬虫措施而无法继续进行爬取,然后找了一阵,原本想着自己写个爬虫爬取免费的一些代理ip的网页,但是后面想了想,我们不用重复造轮子!?然后我就找到了有牛人已经写好了的免费代理池的,那就直接用吧!
自建ip代理池的思路?
一般都是:
1.找到多个提供免费代理ip的站点,然后定时(设定间隔)对这些站点进行提取免费代理ip
2.把代理ip入库
3.设定另一个进程或者线程对入库的免费ip设定间隔进行验证可用性,如果不可用就删除掉
4.还可以设定一个简单的api接口,作为外部可以方便调用代理池中的代理ip
?大概都是这样的思路,所以我们可以不重新发明轮子。站在巨人的肩膀上去继续创造才对。
正文
这次使用的是github这个开源代理ip池。
https://github.com/jhao104/proxy_pool
1.下载解压
2.按要求安装好所需py库,还有redis
3.照着菜鸟教程去下载好 redis
https://www.runoob.com/redis/redis-install.html
4.开启 redis,并且配置好代理池的数据库设置
进入解压到的redis目录下执行(我的是win)打开命令行,启动redis,注意这个时候不要关闭redis的这个命令行的窗口。
redis-server.exe redis.windows.conf
5.按要求在代理池目录下命令行启动代理池脚本
# 到Run目录下:
>>>python main.py
然后就可以看到第二个命令行窗口有输出了,使用的时候直接用python把api封装成函数就可取出来结合别的爬虫使用??(笔者这儿使用的是python3 作为开发环境)
# 使用requests 来直接调用api,封装成函数,方便程序内使用
def getLocalProxyIP()->str: # 每次提取可用代理ip中的一个代理ip
return requests.get("http://127.0.0.1:5010/get/").text
然后我们就可以在我们的爬虫的请求中加入代理ip的使用拉,无论是手写的requests爬虫还是scrapy框架爬虫,都可以结合进去了。
总结:
这次这样我们就可以直接使用开源库获得自维护的免费ip代理池了??。喜欢请给文章点个赞,还可以关注我们,我们每周定期更新好玩的文章。