python爬取B站弹幕数据并生成词云图

1.分析目的:用户在观看视频时会产生丰富的行为数据,如弹幕。通过分析这些行为数据,可以了解用户的兴趣偏好、观看习惯等

2.请求数据

3.这里选取首页的热门视频,打开网页的开发者模式,点击网络刷新页面,点击查看历史弹幕

4.这里再次刷新,能看到一个数据包里面又想要的弹幕数据。

5.这里的地址作为请求数据,查看历史弹幕需要登陆,这里需要放入cookie信息

import requests
import re
for page in range (6,9):  #爬取六号到八号的弹幕
    url = f'https://api.bilibili.com/x/v2/dm/web/history/seg.so?type=1&oid=1356728331&date=2023-12-0{page}'
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0',
        'Cookie':'#浏览器中的cookie

     }
    response = requests.get(url=url,headers=headers)
    response.encoding = 'utf-8'  #进行转码防止乱码
    content_list = re.findall('[\u4e00-\u9fa5]+',response.text)   #正则表达式只匹配中文
    content = '\n'.join(content_list)
    with open('热门视频弹幕.txt',mode='a',encoding='utf_8') as f:
        f.write(content)
    print(content_list)

6.将爬取到的内容保存到文本文档,热门视频弹幕.txt中,打开查看爬取结果(这里爬取了三天的历史弹幕,因为视频是最近的,若想要更多数据,可以选择弹幕更多的视频,并修改代码中的 range参数)

7.进行词云图显示,查看热门弹幕词

import jieba
import wordcloud
f = open('热门视频弹幕.txt',encoding='utf-8')
text = f.read()
txt = ' '.join(jieba.lcut(text))
print(txt)
wc = wordcloud.WordCloud(
    width=1000,
    height=700,
    font_path='msyh.ttc',
    background_color='white',
    stopwords={'这个','很','的','用','了'},  #设置停用词
    scale=15
)
wc.generate(txt)
wc.to_file('弹幕词云图.png')

查看结果

 

  • 5
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值