最近想查看某个weibo主的内容,想着有没有现成的程序可以直接下载的。github上找到了可以使用的程序。将其加载到eclipse中。
dataabc/weibo-crawler: 新浪微博爬虫,用python爬取新浪微博数据,并下载微博图片和微博视频
使用过程中会遇到以下问题:
1.没有找到user_id_list.txt文件,在解压文件中新建该文件,此文件写入weibo的id(自己需要的博主id)。
2.没有提示错误,但是进度条为0。原因有2点,一是确实距离爬取数据的时间过近,博主没有更新。二是修改user_id_list.txt 文件中的内容,把id后面带的时间去除。
关联文件
- weibo-crawler/config.json 中的 "since_date": 1, (可修改,1表示当前下载时间往前推1天)
3.无法工作,提示warning。因为下载图片需要cifar10.py,所以增加cifar10的插件,一般keras或者tensorflow都会需要。可能还会需要其他依赖的插件。
4.别忘记运行此程序需要联网。
5.csv文件乱码,拷贝到其他电脑上,打开的内容是正常。