全网最简单的爬取B站弹幕教程
因为我本人很菜
\ 网新学子干巴爹 /
![bb0dc869c29b655077d11bfa226f3b49.png](https://i-blog.csdnimg.cn/blog_migrate/8cc085407a4a5bb435c1723f84600ce5.jpeg)
步骤如下:
抓包--找到弹幕的存在地--爬取网页--利用jieba进行分词-- 进行词云制作
(以这个视频为例子一https://www.bilibili.com/video/BV1up4y197Ac?from=search&seid=16556469906723796301)
01
找到B站的弹幕存放地
如果你直接去request.get这个网址,会发现里面是找不到弹幕的,那么我们思考和查证一下,不妨推断弹幕和视频应该是异步加载数据,为什么这么说呢,一个视频的弹幕会有多少,就算考虑到B站的弹幕池会一定时间清理的因素,还是很多。
如果弹幕和视频一起加载的话,页面会变得很慢,所以B站的弹幕应该是先加载当前视频的页面,再异步填充弹幕。
经过在csdn中冲浪可以找到,B站的弹幕的存放地址应“http://comment.bilibili.com/+cid+.xml”
下一步就是找到cid就可以了。
02
找到cid
在谷歌浏览器中右键查找源代码,在页面加载的包里面,找到一个叫做heartbeat的包。
aid是视频的av号,bid视频的bv号,av号和bv号对应视频的地址,cid是弹幕的对应id。
![2989a5c7082e8d7ee6853931aa807ae8.png](https://i-blog.csdnimg.cn/blog_migrate/22ea15f3ed0ac8a184f98abb84722fda.png)
03
爬取页面信息
我们把这一页爬下来,拿到内容之后我们开始解析弹幕内容,采用正则表达式进行分词,接下来将其写入csv文件。
![d4c3725cb74d3904d4b65c2c37aeb011.png](https://i-blog.csdnimg.cn/blog_migrate/a2665e33b7dd35bc2ad640fc01b2939f.png)
![1f25c51a03566b60f9366c25c1ef4c0b.png](https://i-blog.csdnimg.cn/blog_migrate/c18f510774970297fdc118a3c6cc9a50.png)
![56c1b6fce99d813c5a5d69125651cd05.png](https://i-blog.csdnimg.cn/blog_migrate/37823cd1509f50a223b06bae2c5b8c9f.png)
04
完善操作
利用jijeba和wordcloud进行分词和词云制作,(作词云的时候设置参数以及注意的是文件的路径要看有没有变。
![afd681da51a7d867ceb19132884d65ad.png](https://i-blog.csdnimg.cn/blog_migrate/9ba291979084bc60ec22ac6dfe868890.png)
![0cfea01cd752dfb9cc530eebdfff642f.gif](https://i-blog.csdnimg.cn/blog_migrate/fefbaab3b5b3041ba8576f6755395698.gif)
成果图:大概是师太看了会骂人的美工23333
![b5955e83f23758e227cbe67648456943.png](https://i-blog.csdnimg.cn/blog_migrate/df55bdbe020e03315d984b5be4d9836c.png)
///
“
以上,
最近感觉自己
无论在做什么
都头脑空空,
这种感觉真是太可怕了
究其原因是输入太少了。
记录一下想法
和产出尝试,
成长 == 输入+思考+输出
“晚安"