python爬取b站弹幕_用python爬取B站弹幕并制作词云

先Po效果图，这是去年9月某期逗鱼时刻的弹幕词频分析，就是吾王巨经典的“我给XXX做牛做马”体刚刚兴起的那阵做的词云。

这个程序在我去年9月份左右的时候就写好了，时隔半年威力依旧不减当年，现在回头看这段代码已经完全不知所云了，所以想在彻底忘掉之前记录在万能的互联网上。

运行必要库：urllib.request，re，io，gzip，selenium

必要浏览器：火狐（版本不能太新）

主体代码如下，因为selenium中的page_source参数得到的网页源码和urllib.requests有时候不一样，所以我在这里都用了。。因此代码显得有些冗长，使用gzip的原因是b站页面貌似是gzip编码的方式，需要额外进行处理（这部分我也不懂，我google出来的解决方案就是导入gzip包然后这个那个的）。主要思路就是获取网页源码，用正则表达式找到CID号，然后进到对应的存放有所有弹幕的页面，继续用正则表达式把时间戳和弹幕内容筛出来，输入用户所希望的天数后，再简单处理一下弹幕内容就可以导出成文件了。经过测试一般视频可行，番剧弹幕还是不能下载。

用户需要自行改动的部分包括如下两个路径，上面那个系统路径是用户希望存放弹幕的位置，下面那个链接改成想要抓取的视频即可。

OK，抓取成功后随便在网上找个词云网站，导入你的文本就可以做出自己想要的模样了。有其他需求的同学还可以利用结巴分词来分析词频等，做一些图表之类的来做一些另类的研究什么的。= =。

#不加encoding的话有可能会报错

with open('C:/PythonProjects/data/'+ str(i) + 'DayAgoDanmu.txt','w',encoding='utf-8') as NDaysDanmuFile:

NDaysDanmuFile.write(RipeDanmu)

print('Done!')

#要抓取的视频

url = 'https://www.bilibili.com/video/av22945597'

-------------------------以下为主代码------------------------------------------

import urllib.request as ur

import re

import io

import gzip

from selenium import webdriver

def url_open(url):

req = ur.Request(url) # 添加一个文件头，需要先用Request，Request存在的意义是便于在请求的时候传入一些信息，而urlopen则不能

req.add_header('User-Agent',

'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')

response = ur.urlopen(req)

if response.info().get('Content-Encoding') == 'gzip':

buf = io.BytesIO(response.read())

gzip_f = gzip.GzipFile(fileobj=buf)

html = gzip_f.read()

else:

html = response.read()

return html

def Get_History_DanMu(days=1):

#获取弹幕时间戳和数量信息

Days_Num = len(TimeAndNumber)

while int(days) > Days_Num:

print('所输入时间大于该视频的年龄')

days = input('请重新输入')

else:

print('网页的CID号为' + cidNumber)

for i in range(int(days)):

if i == 0:

print('今天的时间戳为' + TimeAndNumber[Days_Num - 1][0] + ' | ' + '今天的弹幕数量为' + TimeAndNumber[Days_Num - 1][1])

else:

print(str(i) + '天前的时间戳为' + TimeAndNumber[-1 - i][0] + ' | ' + str(i) + '天前的弹幕数量为' +

TimeAndNumber[-1 - i][1])

#下载弹幕

# 下载N天前的弹幕并且处理和存放

for i in range(int(days)):

if i == 0:

print('正在下载今天的弹幕……')

else:

print('正在下载' + str(i) + '天前的弹幕……')

NDays_DanMu_Url = 'http://comment.bilibili.com/' + 'dmroll,' + TimeAndNumber[-1 - i][0] + ',' + cidNumber

browser = webdriver.Firefox()

browser.get(NDays_DanMu_Url)

Raw_NDays_Danmu = browser.page_source

browser.close()

NDaysDanmuPattern = re.compile('(.+?)', re.S)

RipeDanmu = re.findall(NDaysDanmuPattern, Raw_NDays_Danmu)

RipeDanmu = '\n'.join(RipeDanmu)

#不加encoding的话有可能会报错

with open('C:/PythonProjects/data/'+ str(i) + 'DayAgoDanmu.txt','w',encoding='utf-8') as NDaysDanmuFile:

NDaysDanmuFile.write(RipeDanmu)

print('Done!')

#要抓取的视频

url = 'https://www.bilibili.com/video/av22945597'

#获取网页内容

html = url_open(url).decode('utf-8')

#寻找当前网页CID号

pattern = re.compile(r'cid=(.+?)&aid=.+?&pre_ad')

cidNumber1 = re.findall(pattern,html)

print(cidNumber1)

cidNumber = cidNumber1[0]

#找到存放所有弹幕时间戳的网页

AllDanmuUrl = 'http://comment.bilibili.com/rolldate,' + cidNumber

#DanMu = url_open(AllDanmuUrl).decode('utf-8')，这个方法不行

#设置浏览器

browser = webdriver.Firefox()

#读取上述网页内容

browser.get(AllDanmuUrl)

DanMu = browser.page_source

browser.close()

print(DanMu)

#正则表达式匹配全部时间戳和对应弹幕数量

pattern = re.compile(r'{"timestamp":"(.+?)","new":"(.+?)"}')

TimeAndNumber = re.findall(pattern,DanMu)

days = input('你希望下载几天的弹幕？')

Get_History_DanMu(int(days))

我自己也很清楚代码写的超级乱，因为是新手，初学python之后开脑洞写的东西，大佬们如果有兴趣的话还望指点一下，感谢！