学爬虫是找了很多,但大多年久失修,最终给我找到了一个一直在持续更新的一个微博爬虫项目!
开源项目项目地址:weibo_spider
输出数据源支持:txt、csv、json、mysql、MongoDB、SQLite。根据配置文件可以进行调整!
爬虫,是为了获取所需数据,需合理使用,且行且珍惜!
1. 环境准备
保证python3的环境,使用pip安装:
pip install weibo-spider
2. 写配置文件(config.json)
注意cookie设置成你自己的
{
"user_id_list": ["1669879400"],
"filter": 1,
"s