CookiesPool(weibo)的下载及配置

一.引导

可扩展的Cookies池,目前对接了新浪微博,m.weibo.cn,可自行扩展其他站点

使用 Cookie池,定期的检查Cookie是否失效,可以将多个账号登录之后的Cookie保存在池子中,在爬取网站时,可以随机获取一个账号的登录Cookie,实现多账号爬取的功能。

二.下载及相关配置

可参考文档:https://github.com/Python3WebSpider/CookiesPool

下载地址:https://github.com/Germey/CookiesPool

下载后解压得到的文件夹结构如下:


1.打开requirements.txt(如下图所示),看看你的这四个包的版本是否满足要求(要保证这四个包的版本满足其要求)


2.打开cookiespool文件夹下的config.py,将相关字段的值更改下图中所示即可


3.打开cookiespool文件夹下的generator.py,将相关字段的值更改下图中所示即可


4.运行cookiespool文件夹下的importer.py

以新浪微博为例,在控制台中输入其账号密码组即可


5.运行login文件夹下的run.py

运行效果如下:


6.随机获取Cookies

打开浏览器,在地址栏上输入: http://localhost:5000/weibo/random即可随机获取Cookies




发布了46 篇原创文章 · 获赞 15 · 访问量 3万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 深蓝海洋 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览