分布式爬虫环境搭建——Cookies池

学习资源入口https://www.bilibili.com/video/av19057145/?p=19

Cookies池介绍

• 有些网站需要登录才能进行爬取，就需要登录的cookies
• 爬取过程如果频率过高会导致封号
• 需要维护多个账号的cookies池实现大规模爬取

Cookies池的要求

• 需要可以实现许多账号的自动化登录
• 过期cookies定期验证筛选
• cookies池作为独立模块使用提供外部接口

Cookies池架构

维护cookies池过程

源码入口：https://github.com/Python3WebSpider/CookiesPool
使用在之前维护代理池时安装的库，若尚未安装，可以到源码requirements目录下
输入命令pip install -r requirements.txt

接口配置

# Redis数据库地址
REDIS_HOST = 'localhost'

# Redis端口
REDIS_PORT = 6379

# Redis密码，如无填None
REDIS_PASSWORD = 'foobared'

# 产生器使用的浏览器
BROWSER_TYPE = 'Chrome'

# 产生器类，如扩展其他站点，请在此配置
GENERATOR_MAP = {
    'weibo': 'WeiboCookiesGenerator'
}

# 测试类，如扩展其他站点，请在此配置
TESTER_MAP = {
    'weibo': 'WeiboValidTester'
}

# 检测器检测接口
TEST_URL_MAP = {
    'weibo': 'https://m.weibo.cn/api/container/getIndex?uid=1804544030&type=uid&page=1&containerid=1076031804544030'
}

# 产生器和验证器循环周期
CYCLE = 120

# API地址和端口
API_HOST = '0.0.0.0'
API_PORT = 5000

进程开关配置

#在config.py里修改，true开，false关
# 产生器开关，模拟登录添加Cookies
GENERATOR_PROCESS = True
# 验证器开关，循环检测数据库中Cookies是否可用，不可用删除
VALID_PROCESS = True
# API接口服务
API_PROCESS = True

账号自行购买

导入账号
终端使用命令行跳转到源码importer目录下
输入命令python importer.py

导入账号后就可以运行了