一:为什么要维护cookie
1.登录才能爬取内容
2.爬取频繁会被封号。
3.需要维护多个账号的cookie,实现大规模抓取
二:cookies的要求
1.自动登录更新
2.定期筛选验证
3.提供外部接口
三:cookies池的架构
# TODO 崔庆才 基于Flask和redis动态维护cookies池:https://www.bilibili.com/video/av37497888/?p=19
一:为什么要维护cookie
1.登录才能爬取内容
2.爬取频繁会被封号。
3.需要维护多个账号的cookie,实现大规模抓取
二:cookies的要求
1.自动登录更新
2.定期筛选验证
3.提供外部接口
三:cookies池的架构
# TODO 崔庆才 基于Flask和redis动态维护cookies池:https://www.bilibili.com/video/av37497888/?p=19
转载于:https://www.cnblogs.com/meloncodezhang/p/11543682.html