全网最全爬取-b站爬取弹幕+评论之js逆向与xml降本增效

🌟 ❤️

作者：yueji0j1anke

首发于公号：剑客古月的安全屋

字数：801

阅读时间:    10min

声明：请勿利用文章内的相关技术从事非法测试，由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失，均由使用者本人负责，文章作者不为此承担任何责任。合法渗透，本文章内容纯属虚构，如遇巧合，纯属意外

一.总体概述

js逆向

最近被迫又打比赛了，属于是比赛等级一高就得重构一下子，准备凑齐几百万评论进行模型训练，这次盯上b站

先上效果图

爬取过程的日志记录

弹幕结果

评论结果

目前加入了日志、多线程模块，在启动主程序前只需要在config下填入要爬取的视频即可

二.爬虫过程

首先爬弹幕

点击f12即可出现惊喜

但我发现这里的弹幕大多数是按照时间分类的，根本不可能提取到像我之前展示的效果，于是我仔细分析js，得出了其的弹幕其实还映射到了xml文件上的，爬这个xml文件大幅度就可以降本增效，这里就不泄露机密了，有兴趣的可以找我私聊。

其次爬评论，老生常谈了

在评论区疯狂的下拉后即出现了该条请求，纵观全网好像并没有关于评论的翻页爬取，究极原因是因为翻页逻辑并不好找，并且涉及到了js逆向

wts就是时间戳，w_rid一看就是md5了，所以打断点

全区搜索一下，都给他打上，然后加载评论

最后发现是根据我们的param与一个静态密钥组合而成，随后生成md5值(大过程略掉，避免小破站找我麻烦)

三.后续

接口没有限制，爬了大概两百多万份，美滋滋了，接下来就是做情感分析，词云图和可视化入库等操作了~

目前已经爬取了x音，小x书，某乎

原文链接 爬虫实训-b站爬取弹幕+评论百万之js逆向与xml降本增效

如果对项目有兴趣的小伙伴可以关注公众号 剑客古月的安全屋 获取联系方式进行私聊~