1.分析目的:用户在观看视频时会产生丰富的行为数据,如弹幕。通过分析这些行为数据,可以了解用户的兴趣偏好、观看习惯等
2.请求数据
3.这里选取首页的热门视频,打开网页的开发者模式,点击网络刷新页面,点击查看历史弹幕。
4.这里再次刷新,能看到一个数据包里面又想要的弹幕数据。
5.这里的地址作为请求数据,查看历史弹幕需要登陆,这里需要放入cookie信息
import requests
import re
for page in range (6,9): #爬取六号到八号的弹幕
url = f'https://api.bilibili.com/x/v2/dm/web/history/seg.so?type=1&oid=1356728331&date=2023-12-0{page}'
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0',
'Cookie':'#浏览器中的cookie
}
response = requests.get(url=url,headers=headers)
response.encoding = 'utf-8' #进行转码防止乱码
content_list = re.findall('[\u4e00-\u9fa5]+',response.text) #正则表达式只匹配中文
content = '\n'.join(content_list)
with open('热门视频弹幕.txt',mode='a',encoding='utf_8') as f:
f.write(content)
print(content_list)
6.将爬取到的内容保存到文本文档,热门视频弹幕.txt中,打开查看爬取结果(这里爬取了三天的历史弹幕,因为视频是最近的,若想要更多数据,可以选择弹幕更多的视频,并修改代码中的 range参数)
7.进行词云图显示,查看热门弹幕词
import jieba
import wordcloud
f = open('热门视频弹幕.txt',encoding='utf-8')
text = f.read()
txt = ' '.join(jieba.lcut(text))
print(txt)
wc = wordcloud.WordCloud(
width=1000,
height=700,
font_path='msyh.ttc',
background_color='white',
stopwords={'这个','很','的','用','了'}, #设置停用词
scale=15
)
wc.generate(txt)
wc.to_file('弹幕词云图.png')
查看结果