分布式爬虫环境搭建——Redis|Flask代理池维护

代理池介绍

在进行网络爬虫时,由于一些网站的反爬措施会有封ip的现象,可使用代理池来进行代理ip的处理。
代理池的要求:
多站抓取,异步检测。
定时筛选,持续更新。
提供接口,易于提取。
代理池架构:
获取器
过滤器
代理队列
定时检测

参考代理池源码

https://github.com/jhao104/proxy_pool

安装依赖

(将下载的源码解压到自定义目录,使用命令行到该目录下进行安装)
pip install -r requirements.txt
在这里插入图片描述
安装时,出现以下情况(说明网速太慢,用以下解决方案也需要耐心等待)
在这里插入图片描述
解决方案:
pip install --default-timeout=1000 库名如图:
在这里插入图片描述
检查:
在这里插入图片描述
在这里插入图片描述

Redis安装和配置

下载路径:https://github.com/microsoftarchive/redis/releases
再下载个Redis桌面管理:https://github.com/uglide/RedisDesktopManager/releases/tag/0.8.8
找到redis-desktop-manager.exe可执行文件在这里插入图片描述
下载完安装好后,打开,填写localhost
在这里插入图片描述
在这里插入图片描述
就可以开始添加键和值了
在这里插入图片描述

Redis、Flask维护代理池

pycharm导入所下载的包,设置好相应的环境
在这里插入图片描述
配置Config/setting.py:

#Config/setting.py 为项目配置文件
#配置DB
DATABASES = {
    "default": {
        "TYPE": "SSDB",        # 目前支持SSDB或redis数据库
        "HOST": "127.0.0.1",   # db host
        "PORT": 8888,          # db port,例如SSDB通常使用8888,redis通常默认使用6379
        "NAME": "proxy",       # 默认配置
        "PASSWORD": ""         # db password

    }
}

在这里插入图片描述
配置 ProxyGetter

PROXY_GETTER = [
    "freeProxy01",      # 这里是启用的代理抓取函数名,可在ProxyGetter/getFreeProxy.py 扩展
    "freeProxy02",
    ....
]

配置 API服务

SERVER_API = {
    "HOST": "0.0.0.0",  # 监听ip, 0.0.0.0 监听所有IP
    "PORT": 5010        # 监听端口
}   

上面配置启动后,代理池访问地址为http://127.0.0.1:5010
在这里插入图片描述
这里显示有些包不满足条件,可以点击安装,如果已经安装,可以忽视
在这里插入图片描述
在这里插入图片描述
启动
如果依赖已经安全完成并且具备运行条件,可以在cli下运行通过ProxyPool.py启动
程序分为: schedule 调度程序webserver Api服务
首先启动调度程序python proxyPool.py schedule
然后启动webApi服务python proxyPool.py webserver
在这里插入图片描述
在这里插入图片描述

在爬虫中的使用

#将api封装成函数直接使用
import requests

def get_proxy():
    return requests.get("http://127.0.0.1:5010/get/").json()

def delete_proxy(proxy):
    requests.get("http://127.0.0.1:5010/delete/?proxy={}".format(proxy))

# 爬虫代码

def getHtml():
    # ....
    retry_count = 5
    proxy = get_proxy().get("proxy")
    while retry_count > 0:
        try:
            html = requests.get('https://www.example.com', proxies={"http": "http://{}".format(proxy)})
            # 使用代理访问
            return html
        except Exception:
            retry_count -= 1
    # 出错5次, 删除代理池中代理
    delete_proxy(proxy)
    return None
  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值