BiliBili爬取弹幕制作词云

已于 2023-08-03 21:48:33 修改
阅读量1.4k 收藏 9
点赞数 2
分类专栏： Python创意 文章标签： python 爬虫 网络爬虫
于 2023-08-03 21:45:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yupen_Bob/article/details/132092698
版权

BiliBili爬取弹幕制作词云

今天我在CSDN看到了一篇文章，可以把一大段文字使用Python的WordCloud库生成一张图，出现频率越多的词在图上的大小越大，这种图叫做词云。斯…我突发奇想：之前学过网络爬虫，如果我把B站的弹幕爬取下来，做成词云…嗯…开始实践！

分析思路

我们要爬取一个视频的弹幕，先要分析一下B站的视频地址结构，这里先搞了几个视频

https://www.bilibili.com/video/BV1Qd4y1d7px
https://www.bilibili.com/video/BV1HL4y1577D
https://www.bilibili.com/video/BV14P4y1A7UG

em，可以看到结构大致为https://www.bilibili.com/video/BV后面10位大小写字母和数字组合而成

知道了地址结构，下面来说说视频的弹幕，每一个视频都有一个xml文件，里面写了这个视频弹幕都有那些，在几分几秒，什么颜色之类的。

然后我们随便选择一个视频，按F12打开开发者工具，点击Network一栏，Ctrl+R重新加载一下，选第一个BV开头的，选Response，Ctrl+F搜索cids，看到这串蓝色的数字就是这个视频的cid

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Njtx9wNK-1691069620860)(https://file.yupenbob.ml/img/202209142121717.jpg)]

关于B站弹幕xml地址我查了好多文章，总结xml地址位http://comment.bilibili.com/"这里写cid".xml，列如视频URL为https://www.bilibili.com/video/BV1Qd4y1d7px的视频，BV为1Qd4y1d7px，cid为https://comment.bilibili.com/815259646.xml，弹幕xml内容如下

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DfNYSYnr-1691069620860)(https://file.yupenbob.ml/img/202209142134025.png)]

有了xml弹幕信息后面就好弄了，直接把所有弹幕分词，生成词云就OK了


准备

我们来准备一下这个项目所需要的东西

第三方库

首先安装这个项目所需的第三方库，比较多
使用pip安装wordcloud词云生成库

pip install wordcloud

由于要设计图形处理，要安装PIL库

pip install pillow

安装numpy库，用来处理词云文字颜色

pip install numpy

由于要解析XML，需安装lxml库

pip install lxml

因为需要涉及到正则表达式，要安装re库

pip install re

最重要的爬取网站！需要安装requests库！

pip install requests

字体

这里就拿微软雅黑吧

模板图片

这里生成词云用到的模板图片，我就拿我头像吧，改个色

开始

好的，接下来让我们开始写程序

导入第三方库

像这样全部搞里头！

from wordcloud import ImageColorGenerator
from wordcloud import WordCloud
from lxml import etree
from PIL import Image
import requests,jieba,re
import numpy as np

设置http请求头

首先B站有反爬，需要设置http请求头，em我就直接把我浏览器里的搬过来了

#http请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)\
     AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36"
}

解析视频弹幕xml地址

#解析视频弹幕xml地址
def DanmuURL_get(bv):
    print("解析视频弹幕xml地址")
    video_url = bv
    print("BV:"+video_url)
    response = requests.get(video_url, headers=headers) #获取html
    html = response.content.decode()
    cid = re.findall(r'("cid":)([0-9]+)', html) #获取cid
    xml_url = "http://comment.bilibili.com/" + str(cid[0][1]) + ".xml"
    return xml_url

获取弹幕信息

def Danmu_get(xml_url):
    print("获取弹幕信息")
    print("XML:" + xml_url)
    response = requests.get(xml_url, headers=headers)  # 获取信息
    html = etree.HTML(response.content)
    danmu_list = html.xpath("//d/text()")  # 解析xml
    return danmu_list

初始化定义

danmu_list = []  # 定义弹幕列表
txt = ""  # 定义弹幕文本
# 需要爬取的视频BV
bv = [
    "https://www.bilibili.com/video/BV1HL4y1577D",
    "https://www.bilibili.com/video/BV1dr4y1H77b",
    "https://www.bilibili.com/video/BV1h34y1k7m1",
    "https://www.bilibili.com/video/BV14P4y1A7UG",
    "https://www.bilibili.com/video/BV1ES4y1y7K1",
    "https://www.bilibili.com/video/BV1tL4y1c7hj",
    "https://www.bilibili.com/video/BV1LB4y1X7Nj",
    "https://www.bilibili.com/video/BV1ya411W7Lv",
    "https://www.bilibili.com/video/BV1aa411Z7U2",
    "https://www.bilibili.com/video/BV1Qd4y1d7px",
]

词云生成

# 词云生成
def WordCloud_make(danmuimg, txt):
    mask = np.array(Image.open(danmuimg))  # 导入背景图片
    color = ImageColorGenerator(mask, default_color=None)  # 分析背景文字颜色
    wordcloud = WordCloud(  # 都可以随便修改
        background_color="white",  # 背景颜色
        max_words=114514,  # 最大词量（喜）
        mask=mask,  # 导入图片
        color_func=color,  # 文字颜色
        max_font_size=120,  # 最大文字大小
        font_path="msyhbd.ttc"  # 字体
    ).generate(txt)
    wordcloud.to_file('out.jpg')  # 输出图片
    print("生成完毕，输出图片out.jpg")

主程序开始

# 程序开始
if __name__ == '__main__':
    # 开始调用
    for i in bv:
        xml_url = DanmuURL_get(i)
        danmu_list = Danmu_get(xml_url)
        # 拼接danmu_list
        for a in danmu_list:
            txt = txt + a

    # 生成
    print("获取完成,正在生成词云")
    WordCloud_make("back.jpg", txt)

ok这样就完成了


最终代码

不想一步步来的可以直接复制此代码

from wordcloud import ImageColorGenerator
from wordcloud import WordCloud
from lxml import etree
from PIL import Image
import requests, jieba, re
import numpy as np

# http请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)\
     AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36"
}

danmu_list = []  # 定义弹幕列表
txt = ""  # 定义弹幕文本
# 需要爬取的视频BV
bv = [
    "https://www.bilibili.com/video/BV1HL4y1577D",
    "https://www.bilibili.com/video/BV1dr4y1H77b",
    "https://www.bilibili.com/video/BV1h34y1k7m1",
    "https://www.bilibili.com/video/BV14P4y1A7UG",
    "https://www.bilibili.com/video/BV1ES4y1y7K1",
    "https://www.bilibili.com/video/BV1tL4y1c7hj",
    "https://www.bilibili.com/video/BV1LB4y1X7Nj",
    "https://www.bilibili.com/video/BV1ya411W7Lv",
    "https://www.bilibili.com/video/BV1aa411Z7U2",
    "https://www.bilibili.com/video/BV1Qd4y1d7px",
]


# 解析视频弹幕xml地址
def DanmuURL_get(bv):
    print("解析视频弹幕xml地址")
    video_url = bv
    print("BV:" + video_url)
    response = requests.get(video_url, headers=headers)  # 获取信息
    html = response.content.decode()
    cid = re.findall(r'("cid":)([0-9]+)', html)  # 获取cid
    xml_url = "http://comment.bilibili.com/" + str(cid[0][1]) + ".xml"
    return xml_url


# 获取弹幕信息
def Danmu_get(xml_url):
    print("获取弹幕信息")
    print("XML:" + xml_url)
    response = requests.get(xml_url, headers=headers)  # 获取信息
    html = etree.HTML(response.content)
    danmu_list = html.xpath("//d/text()")  # 解析xml
    return danmu_list

# 词云生成
def WordCloud_make(danmuimg, txt):
    mask = np.array(Image.open(danmuimg))  # 导入背景图片
    color = ImageColorGenerator(mask, default_color=None)  # 分析背景文字颜色
    wordcloud = WordCloud(  # 都可以随便修改
        background_color="white",  # 背景颜色
        max_words=114514,  # 最大词量（喜）
        mask=mask,  # 导入图片
        color_func=color,  # 文字颜色
        max_font_size=120,  # 最大文字大小
        font_path="msyhbd.ttc"  # 字体
    ).generate(txt)
    wordcloud.to_file('out.jpg')  # 输出图片
    print("生成完毕，输出图片out.jpg")


# 程序开始
if __name__ == '__main__':
    # 开始调用
    for i in bv:
        xml_url = DanmuURL_get(i)
        danmu_list = Danmu_get(xml_url)
        # 拼接danmu_list
        for a in danmu_list:
            txt = txt + a

    # 生成
    print("获取完成,正在生成词云")
    WordCloud_make("back.jpg", txt)

运行

来看一下效果如何吧，示例用以下几段视频

bv = [
    "https://www.bilibili.com/video/BV1HL4y1577D",
    "https://www.bilibili.com/video/BV1dr4y1H77b",
    "https://www.bilibili.com/video/BV1h34y1k7m1",
    "https://www.bilibili.com/video/BV14P4y1A7UG",
    "https://www.bilibili.com/video/BV1ES4y1y7K1",
    "https://www.bilibili.com/video/BV1tL4y1c7hj",
    "https://www.bilibili.com/video/BV1LB4y1X7Nj",
    "https://www.bilibili.com/video/BV1ya411W7Lv",
    "https://www.bilibili.com/video/BV1aa411Z7U2",
    "https://www.bilibili.com/video/BV1Qd4y1d7px",
]

日志如下

解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1HL4y1577D
获取弹幕信息
XML:http://comment.bilibili.com/572081457.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1dr4y1H77b
获取弹幕信息
XML:http://comment.bilibili.com/563748171.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1h34y1k7m1
获取弹幕信息
XML:http://comment.bilibili.com/518688148.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV14P4y1A7UG
获取弹幕信息
XML:http://comment.bilibili.com/497618147.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1ES4y1y7K1
获取弹幕信息
XML:http://comment.bilibili.com/497090740.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1tL4y1c7hj
获取弹幕信息
XML:http://comment.bilibili.com/710618932.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1LB4y1X7Nj
获取弹幕信息
XML:http://comment.bilibili.com/733727872.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1ya411W7Lv
获取弹幕信息
XML:http://comment.bilibili.com/759671800.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1aa411Z7U2
获取弹幕信息
XML:http://comment.bilibili.com/791084545.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1Qd4y1d7px
获取弹幕信息
XML:http://comment.bilibili.com/815259646.xml
获取完成,正在生成词云
生成完毕，输出图片out.jpg

进程已结束,退出代码0

输出图片

如果你电脑有配置的话，可以试试把全B站的视频都输入进去[doge]

Yupen_Bob
关注
专栏目录
用python爬取B站弹幕并绘制词云
Cachel Wood的博客
07-07 841
弹琵琶的小姐姐是我学python的动力啊啊啊
爬取B站弹幕生成词云
cl18154399536的博客
04-03 644
一、爬取弹幕 import requests import json import re #下载页面 def download_page(url): headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63....
B站视频弹幕的爬取和绘制词云图
FOR.GET
08-11 1142
# 只需 shift+回车 运行本单元格，就可以让jupyter notebook宽屏显示 from IPython.core.display import display, HTML display(HTML('<style>.container { width:100% !important; }</style>')) 1.爬虫 ① url：网页链接 ② 模拟浏览器的发送请求即响应 ③ 解析网页内容 def BZDM(url,headers): # 获取网
B站某合集视频弹幕探索分析
m0_73511684的博客
08-22 777
观察图像，实际上不管是周几弹幕主要活跃的时间段都是，上午：9~11点，下午：14~17点，晚上：20~22点。至此内容分析完毕，我们在分析过程中发现了很多有趣的现象，比如用户的活跃时间等，也看到了UP主的内容对弹幕数量造成的影响，还有很多有趣的东西藏在数据当中。仔细查看其弹幕内容，发现该用户的弹幕大多是用来回复UP主提出的问题，是好学的活跃用户呢！由此可见三月份发弹幕的人数也是最多的，那么是什么原因导致的弹幕数量激增呢？该用户的弹幕文字很多，大都是发表对视频提问的解答，也是好学的选手。
B站弹幕爬取并制成词云
wudiliu226的博客
02-28 925
B站弹幕爬取并制成词云 前言 作为一个经济学学生，数据分析和可视化是一定要掌握的，从今天开始进行一些Python项目的记录，就不进行Python基础知识的讲解了！ 一、B站弹幕的爬取 弹幕地址获取 import re import requests import urllib import bs4 def main(): url = "你要爬的视频的地址" datalist = get_html(url) cid = saveurl(datalist) dmurl='https://
用Python爬取B站弹幕并做成词云
sinat_38961618的博客
06-19 4798
用Python爬取B站弹幕并做成词云 一、获取视频的cid号 1.进入想爬的视频，打开浏览器设置里的“开发者工具”： 进入Search后输入cid获得视频的cid号。 2.爬视频的弹幕 #爬数据正文 def get_data(cid): # 分析网页，并获取网页文件 url = 'https://comment.bilibili.com/{}.xml'.format(cid) #B站弹幕数据存放在https://comment.bilibili.com/cid.xml中，其中cid是视
一个从bilibili.com爬取弹幕并生成词云的Python项目.zip
最新发布
09-12
1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，...
Python爬取bilibili弹幕生成词云教程项目
资源摘要信息: 本项目是一个基于Python语言开发的，旨在从知名视频分享网站***（B站）爬取弹幕信息，并利用这些弹幕数据生成词云的实践项目。以下是对该项目的核心知识点和应用场景的详细介绍。 ### 知识点 #### 1...
通过bilibili_api获取bilibili弹幕+绘制词云的方法
weixin_36285139的博客
08-04 1152
通过bilibili_api获取bilibili弹幕+绘制词云的方法 刚接触python 随手做一些自己感兴趣的项目，看到了一个通过bilibili_api三行代码获取弹幕的教程(vx公号：天作之程（jhtmtzzc))使用的是bilibili_api ,是2020年1月份发布的接口，可以很方便的获取弹幕、视频信息、评论等。 由于自己学艺不精，后续词云的简略代码没怎么看懂，梳理了一遍把整个的学习内容记录下来。主要参考的为bilibili_api的教程和词云的生成教程(https://blog.csdn.ne
爬取bilibili弹幕制作词云
<p>专注挖坑</p>
04-24 7162
最近有部剧的片花看的很燃，正好我又是主演的fans，于是手痒忍不住把该片的弹幕爬取下来做个词云玩一玩。step 1 获得弹幕的XML文件 B站上的弹幕在静态页面上是没有的，所以还需要费点劲去找。 打开我们的目标视频：http://www.bilibili.com/video/av9979006/?from=search&seid=533845265855630872 右键源代码，然后再CTRL
爬取B站弹幕制作词云图
littlespider889的博客
07-12 1449
大家好，我是天空之城，今天给大家带来，爬取B站弹幕制作词云图。 以下内容部分来自公众号数据分析与统计学之美，号主是大牛，有需要的加他。 首先打开一个b站视频https://www.bilibili.com/video/BV1PK4y1b7dt?t=1，来到开发者模式，打开network，搜索pagelist，就会找到第一个api接口，https://api.bilibili.com/x/player/pagelist?bvid=BV1PK4y1b7dt&jsonp=jsonp， 打开这个网址，我们
python爬取b站弹幕并制作词云_Python爬取B站弹幕并制作词云图
weixin_39622891的博客
02-04 391
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。基本开发环境Python 3.6Pycharm相关模块的使用requests在cmd中 pip install requests 安装即可我这是显示已经安装过了的，如果你没有安装的话，是会有安装进度条的。目标网页分析就选择B站排行榜第一的视频。如何找到弹幕数据？如上图所示：1、点击进入网页之后，...
三十行代码爬取B站弹幕并生成词云
weixin_44742630的博客
03-28 735
概述 因为B站的AV号变成了BV号，所以代码有了些许的改动 import requests import json import re from wordcloud import WordCloud # 用BV号得到cid号 def get_cid(bv): bv = bv.strip('BV1') url = f'https://api.bilibili.com/x/play...
用python爬取B站弹幕生成专属词云
weixin_44783823的博客
05-12 561
前言 作为一个后现代网络少年，无意间看到涛姐（刘敏涛）的千万直拍，加上有才的网友，于是顺利承包了所有的笑点，实在是上头，pick！pick！pick！ 爬取思路 1. 利用requests请求网页并使用正则获取弹幕 2. 生成专属词云 步骤 1. 在涛姐的视频中，选空白处右击——>检查，得到以下界面： 2. 得到上面的url，复制黏贴打开，可以得到弹幕信息： 代码块 1. 导入相关库： import requests import re import wordcloud import PIL.I
#python爬取B站弹幕并制作词云图(2021年-6月)【上】
weixin_52308100的博客
07-13 1410
python爬取B站弹幕并制作词云图(2021年-6月)
Python爬取B站弹幕并做成云图
JiuQing的博客
12-27 1041
Python爬取B站弹幕并做成云图
python爬取bilibili弹幕_用Python爬取B站视频弹幕
weixin_39854923的博客
11-24 1680
原标题：用Python爬取B站视频弹幕via：菜J学Python众所周知，弹幕，即在网络上观看视频时弹出的评论性字幕。不知道大家看视频的时候会不会点开弹幕，于我而言，弹幕是视频内容的良好补充，是一个组织良好的评论序列。通过分析弹幕，我们可以快速洞察广大观众对于视频的看法。下面是通过一个关于《八佰》的视频弹幕数据，绘制了如下词云图，感觉效果还是可以的。 海量的弹幕数据不仅可以绘制此类词云图，还可以调...
爬取B站评论区并且生成词云图
qq_50879110的博客
04-27 1378
已实现功能：爬取评论区内容并且生成云图。然后保存在桌面。 未实现功能：修改词云图形状没有实现。（如：苹果形状）报错没有解决。 创建一个B站评论爬虫改.py文件，这个文件功能是输入一个B站链接。爬取评论区，并且在桌面生成一个.txt文件 import random import requests import time import re headers = { # 'user-agent': 'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/5
爬b站弹幕作词云
weixin_57095089的博客
06-17 198
爬取b站弹幕制作词云 （用宋浩老师的视频为例（手动狗头）） 可以仔细看代码 讲解都非常的详细 #引库 import requests from bs4 import BeautifulSoup import pandas as pd #请求、解析、保存数据 # 请求数据 url = 'https://comment.bilibili.com/64641038.xml' html = requests.get(url).content # 解析数据 html_data = str(htm...
制作哔哩哔哩弹幕词云
qq_52358027的博客
11-02 639
不知道有没有人能猜出来这是哪个视频的弹幕 然后是制作词云代码 可能出现的报错： 缺少stoplist.txt文件，自行创建即可。作用是制作词的云排除你不想要的词，一个词占一行如果你想制作一个特定图案的词云，就可以将第六步中的两行代码的注释求掉，并添加你的图片文件，最好是颜色相差较大的图片，不然制作出来的词云效果不好，如果效果不好的话可以用PS把图片背景去掉，留下你想要的图案 之后就要制作ui界面了 可以跟着这个视频学习一下点我 我这个只是一个示例，以作参考，如果需要做出一个界面的话还是得自己学习一下 文件类
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值