PYTHON爬虫--05--flask|redis维护代理池和cookie池

一、维护代理池

1、代理池的要求

• 多站抓取，异步检测；
• 定时筛选，持续更新；
• 提供接口，易于提取；

2、代理池的架构

3、flask 和redis 的作用

• redis 作为队列存放代理；
• flask 提供获取代理的web服务；

 

二、维护cookie池

1、要求

• 自动登录更新（生成器模块）
• 定时验证筛选（验证器模块）
• 提供访问接口（API模块）

2、原理

 

三、利用代理池爬取微信文章