一个批量爬取微博数据的神器

分享一个能批量下载微博图片/视频/评论的工具

起因

偶尔玩玩微博,最近看到了一名专业的 coser,因此想要下载一些她的微博,方便观看,也避免以后平台倒闭/博主退坑的情况导致无法看原微博。

在这里插入图片描述

专业 coser:鲨鱼 SAME

项目介绍

然后我在 GitHub 上搜了下,发现一个高赞项目:weibo-crawler,新浪微博爬虫。

项目地址:https://github.com/dataabc/weibo-crawler

简单摘录下项目的文档:

连续爬取一个或多个新浪微博用户(如迪丽热巴郭碧婷)的数据,并将结果信息写入文件。写入信息几乎包括了用户微博的所有数据,主要有用户信息和微博信息两大类,前者包含用户昵称、关注数、粉丝数、微博数等等;后者包含微博正文、发布时间、发布工具、评论数等等,因为内容太多,这里不再赘述,详细内容见输出部分。

具体的写入文件类型如下:

  • 写入 csv 文件、写入 json 文件、MySQL 数据库、MongoDB 数据库、SQLite 数据库​
  • 下载用户原创和转发微博中的原始图片、视频、Live Photo 中的视频、一级评论

还可以通过自动化,定期增量爬取新微博,非常方便。

实践

实操起来也很简单,官方文档写的非常详细,字数都上万了,配图也很丰富,我这里就简单说明下,其实就三步:

  • 首先,该项目基于 Python,因此得安装 Python(具体步骤就不展开了,网上很多教程)。
  • 然后,填写好要爬取的微博用户信息(例如用户 ID,Cookie)
  • 运行项目:python weibo.py

具体操作文档请看官方文档了,我会在下一篇博客转载它,方便国内的读者查看(想看最新版还是建议去官网看)

效果

将所有图片、视频等数据分别存储,并且都是原始文件(高清),文件名也已经重命名好了:

在这里插入图片描述

如果有下载失败的情况,会将情况写在 not_downloaded.txt 里(若图片全部下载成功则不会生成该文件),非常贴心。

——完——

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

PeterJXL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值