B站弹幕
概述
之前看到了网上有人做过一些up的B站弹幕数据可视化,感觉还挺有意思,于是自己就动手做着玩了一下(没有做可视化)。祝福武汉,祝福中国!
项目实现
(1)获取弹幕数据,我本来想着是获取某一个up的全部视频的弹幕数据,后来发现了一个问题:弹幕数据是存在JSON或者XMl中的。数据依靠一个id号标识,我本以为就是视频的av号,结果查看元素后却发现不是。参考了网上的一些文档发现弹幕数据存储在一个url中,因此只需要获取这个网址中的内容即可。
(2)获取数据,就采用爬虫惯用的requests模块即可
(3)解析数据
(4)数据持久化以及数据简单处理
初始化
首先初始化一些下面需要使用的基本参数
def __init__(self): self.headers = { # 自己添加自己的即可 } self.base_url = 'https://api.bilibili.com/x/v1/dm/list.so?oid={}' self.url = '' self.barrage_result = [] self.danmu = [] self.danmu_count = []
初始化自己的headers,以及初始化一个基础的url。然后初始化几个下面要用的参数。
获取网页
获取网页信息,并将数据存储到本地
# 获取信息
def get_page(self):
# 延时