Python爬取B站TES VS FNC 八强赛弹幕

最新推荐文章于 2024-09-20 16:09:42 发布

嗨学编程

最新推荐文章于 2024-09-20 16:09:42 发布

阅读量358

点赞数

分类专栏： Python爬虫文章标签： python 数据分析词云爬虫

本文链接：https://blog.csdn.net/fei347795790/article/details/109163152

版权

Python爬虫专栏收录该内容

677 篇文章 327 订阅

订阅专栏

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

开发工具

python 3.6.5
pycharm

import requests

目标网站

在这里插入图片描述
注意点：

未登录B站账号是看不到弹幕数据，登陆之后可以点击查看历史弹幕选择日期，XHR 有相关的数据接口

请求网页

headers 需要携带cookie参数
返回的源代码，字体会出现乱码，需要转码

在这里插入图片描述

import requests
url = 'https://api.bilibili.com/x/v2/dm/history?type=1&oid=246648707&date=2020-10-17'
headers = {
    'cookie': '',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
response.encoding = response.apparent_encoding
print(response.text)

获得返回数据，可以利用正则匹配弹幕信息

在这里插入图片描述
获取了弹幕信息保存到本地即可

爬虫完整代码

import requests
import re
url = 'https://api.bilibili.com/x/v2/dm/history?type=1&oid=246648707&date=2020-10-17'
headers = {
    'cookie': '',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
response.encoding = response.apparent_encoding
lis = re.findall('<d p=".*?">(.*?)</d>', response.text, re.S)
for i in lis:
    with open('八强赛弹幕.txt', mode='a', encoding='utf-8') as f:
        f.write(i)
        f.write('\n')

发现一共才 14行代码就搞定了~

这只是爬取10月17日当天的弹幕数据，根据日期的变化可以改变日期参数，就可以达到爬取多页的数据了

既然爬取了弹幕，就这样，还是有没有什么感觉，咱们可以对弹幕进行词云分析~

词云图

import jieba
import wordcloud
import imageio
# 导入imageio库中的imread函数，并用这个函数读取本地图片，作为词云形状图片
py = imageio.imread(r"D:\python\demo\tesVSfnc\timg.png")
# 读取文件内容
f = open(r'D:\python\demo\tesVSfnc\八强赛弹幕.txt', encoding='utf-8')
txt = f.read()
# print(txt)
# jiabe 分词 分割词汇
txt_list = jieba.lcut(txt)
string = ' '.join(txt_list)
# 词云图设置
wc = wordcloud.WordCloud(
        width=1000,         # 图片的宽
        height=700,         # 图片的高
        background_color='white',   # 图片背景颜色
        font_path='msyh.ttc',    # 词云字体
        mask=py,     # 所使用的词云图片
        scale=15,
        stopwords={'真的', '这个'},
        # contour_width=5,
        # contour_color='red'  # 轮廓颜色
)
# 给词云输入文字
wc.generate(string)
# 词云图保存图片地址
wc.to_file(r'D:\python\demo\tesVSfnc\out.png')