BiliBili爬取弹幕制作词云

已于 2023-08-03 21:48:33 修改
阅读量1.1k 收藏 7
点赞数 2
分类专栏： Python创意 文章标签： python 爬虫 网络爬虫
于 2023-08-03 21:45:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yupen_Bob/article/details/132092698
版权

BiliBili爬取弹幕制作词云

今天我在CSDN看到了一篇文章，可以把一大段文字使用Python的WordCloud库生成一张图，出现频率越多的词在图上的大小越大，这种图叫做词云。斯…我突发奇想：之前学过网络爬虫，如果我把B站的弹幕爬取下来，做成词云…嗯…开始实践！

分析思路

我们要爬取一个视频的弹幕，先要分析一下B站的视频地址结构，这里先搞了几个视频

https://www.bilibili.com/video/BV1Qd4y1d7px
https://www.bilibili.com/video/BV1HL4y1577D
https://www.bilibili.com/video/BV14P4y1A7UG

em，可以看到结构大致为https://www.bilibili.com/video/BV后面10位大小写字母和数字组合而成

知道了地址结构，下面来说说视频的弹幕，每一个视频都有一个xml文件，里面写了这个视频弹幕都有那些，在几分几秒，什么颜色之类的。

然后我们随便选择一个视频，按F12打开开发者工具，点击Network一栏，Ctrl+R重新加载一下，选第一个BV开头的，选Response，Ctrl+F搜索cids，看到这串蓝色的数字就是这个视频的cid

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Njtx9wNK-1691069620860)(https://file.yupenbob.ml/img/202209142121717.jpg)]

关于B站弹幕xml地址我查了好多文章，总结xml地址位http://comment.bilibili.com/"这里写cid".xml，列如视频URL为https://www.bilibili.com/video/BV1Qd4y1d7px的视频，BV为1Qd4y1d7px，cid为https://comment.bilibili.com/815259646.xml，弹幕xml内容如下

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DfNYSYnr-1691069620860)(https://file.yupenbob.ml/img/202209142134025.png)]

有了xml弹幕信息后面就好弄了，直接把所有弹幕分词，生成词云就OK了


准备

我们来准备一下这个项目所需要的东西

第三方库

首先安装这个项目所需的第三方库，比较多
使用pip安装wordcloud词云生成库

pip install wordcloud

由于要设计图形处理，要安装PIL库

pip install pillow

安装numpy库，用来处理词云文字颜色

pip install numpy

由于要解析XML，需安装lxml库

pip install lxml

因为需要涉及到正则表达式，要安装re库

pip install re

最重要的爬取网站！需要安装requests库！

pip install requests

字体

这里就拿微软雅黑吧

模板图片

这里生成词云用到的模板图片，我就拿我头像吧，改个色

开始

好的，接下来让我们开始写程序

导入第三方库

像这样全部搞里头！

from wordcloud import ImageColorGenerator
from wordcloud import WordCloud
from lxml import etree
from PIL import Image
import requests,jieba,re
import numpy as np

设置http请求头

首先B站有反爬，需要设置http请求头，em我就直接把我浏览器里的搬过来了

#http请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)\
     AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36"
}

解析视频弹幕xml地址

#解析视频弹幕xml地址
def DanmuURL_get(bv):
    print("解析视频弹幕xml地址")
    video_url = bv
    print("BV:"+video_url)
    response = requests.get(video_url, headers=headers) #获取html
    html = response.content.decode()
    cid = re.findall(r'("cid":)([0-9]+)', html) #获取cid
    xml_url = "http://comment.bilibili.com/" + str(cid[0][1]) + ".xml"
    return xml_url

获取弹幕信息

def Danmu_get(xml_url):
    print("获取弹幕信息")
    print("XML:" + xml_url)
    response = requests.get(xml_url, headers=headers)  # 获取信息
    html = etree.HTML(response.content)
    danmu_list = html.xpath("//d/text()")  # 解析xml
    return danmu_list

初始化定义

danmu_list = []  # 定义弹幕列表
txt = ""  # 定义弹幕文本
# 需要爬取的视频BV
bv = [
    "https://www.bilibili.com/video/BV1HL4y1577D",
    "https://www.bilibili.com/video/BV1dr4y1H77b",
    "https://www.bilibili.com/video/BV1h34y1k7m1",
    "https://www.bilibili.com/video/BV14P4y1A7UG",
    "https://www.bilibili.com/video/BV1ES4y1y7K1",
    "https://www.bilibili.com/video/BV1tL4y1c7hj",
    "https://www.bilibili.com/video/BV1LB4y1X7Nj",
    "https://www.bilibili.com/video/BV1ya411W7Lv",
    "https://www.bilibili.com/video/BV1aa411Z7U2",
    "https://www.bilibili.com/video/BV1Qd4y1d7px",
]

词云生成

# 词云生成
def WordCloud_make(danmuimg, txt):
    mask = np.array(Image.open(danmuimg))  # 导入背景图片
    color = ImageColorGenerator(mask, default_color=None)  # 分析背景文字颜色
    wordcloud = WordCloud(  # 都可以随便修改
        background_color="white",  # 背景颜色
        max_words=114514,  # 最大词量（喜）
        mask=mask,  # 导入图片
        color_func=color,  # 文字颜色
        max_font_size=120,  # 最大文字大小
        font_path="msyhbd.ttc"  # 字体
    ).generate(txt)
    wordcloud.to_file('out.jpg')  # 输出图片
    print("生成完毕，输出图片out.jpg")

主程序开始

# 程序开始
if __name__ == '__main__':
    # 开始调用
    for i in bv:
        xml_url = DanmuURL_get(i)
        danmu_list = Danmu_get(xml_url)
        # 拼接danmu_list
        for a in danmu_list:
            txt = txt + a

    # 生成
    print("获取完成,正在生成词云")
    WordCloud_make("back.jpg", txt)

ok这样就完成了


最终代码

不想一步步来的可以直接复制此代码

from wordcloud import ImageColorGenerator
from wordcloud import WordCloud
from lxml import etree
from PIL import Image
import requests, jieba, re
import numpy as np

# http请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)\
     AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36"
}

danmu_list = []  # 定义弹幕列表
txt = ""  # 定义弹幕文本
# 需要爬取的视频BV
bv = [
    "https://www.bilibili.com/video/BV1HL4y1577D",
    "https://www.bilibili.com/video/BV1dr4y1H77b",
    "https://www.bilibili.com/video/BV1h34y1k7m1",
    "https://www.bilibili.com/video/BV14P4y1A7UG",
    "https://www.bilibili.com/video/BV1ES4y1y7K1",
    "https://www.bilibili.com/video/BV1tL4y1c7hj",
    "https://www.bilibili.com/video/BV1LB4y1X7Nj",
    "https://www.bilibili.com/video/BV1ya411W7Lv",
    "https://www.bilibili.com/video/BV1aa411Z7U2",
    "https://www.bilibili.com/video/BV1Qd4y1d7px",
]


# 解析视频弹幕xml地址
def DanmuURL_get(bv):
    print("解析视频弹幕xml地址")
    video_url = bv
    print("BV:" + video_url)
    response = requests.get(video_url, headers=headers)  # 获取信息
    html = response.content.decode()
    cid = re.findall(r'("cid":)([0-9]+)', html)  # 获取cid
    xml_url = "http://comment.bilibili.com/" + str(cid[0][1]) + ".xml"
    return xml_url


# 获取弹幕信息
def Danmu_get(xml_url):
    print("获取弹幕信息")
    print("XML:" + xml_url)
    response = requests.get(xml_url, headers=headers)  # 获取信息
    html = etree.HTML(response.content)
    danmu_list = html.xpath("//d/text()")  # 解析xml
    return danmu_list

# 词云生成
def WordCloud_make(danmuimg, txt):
    mask = np.array(Image.open(danmuimg))  # 导入背景图片
    color = ImageColorGenerator(mask, default_color=None)  # 分析背景文字颜色
    wordcloud = WordCloud(  # 都可以随便修改
        background_color="white",  # 背景颜色
        max_words=114514,  # 最大词量（喜）
        mask=mask,  # 导入图片
        color_func=color,  # 文字颜色
        max_font_size=120,  # 最大文字大小
        font_path="msyhbd.ttc"  # 字体
    ).generate(txt)
    wordcloud.to_file('out.jpg')  # 输出图片
    print("生成完毕，输出图片out.jpg")


# 程序开始
if __name__ == '__main__':
    # 开始调用
    for i in bv:
        xml_url = DanmuURL_get(i)
        danmu_list = Danmu_get(xml_url)
        # 拼接danmu_list
        for a in danmu_list:
            txt = txt + a

    # 生成
    print("获取完成,正在生成词云")
    WordCloud_make("back.jpg", txt)

运行

来看一下效果如何吧，示例用以下几段视频

bv = [
    "https://www.bilibili.com/video/BV1HL4y1577D",
    "https://www.bilibili.com/video/BV1dr4y1H77b",
    "https://www.bilibili.com/video/BV1h34y1k7m1",
    "https://www.bilibili.com/video/BV14P4y1A7UG",
    "https://www.bilibili.com/video/BV1ES4y1y7K1",
    "https://www.bilibili.com/video/BV1tL4y1c7hj",
    "https://www.bilibili.com/video/BV1LB4y1X7Nj",
    "https://www.bilibili.com/video/BV1ya411W7Lv",
    "https://www.bilibili.com/video/BV1aa411Z7U2",
    "https://www.bilibili.com/video/BV1Qd4y1d7px",
]

日志如下

解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1HL4y1577D
获取弹幕信息
XML:http://comment.bilibili.com/572081457.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1dr4y1H77b
获取弹幕信息
XML:http://comment.bilibili.com/563748171.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1h34y1k7m1
获取弹幕信息
XML:http://comment.bilibili.com/518688148.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV14P4y1A7UG
获取弹幕信息
XML:http://comment.bilibili.com/497618147.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1ES4y1y7K1
获取弹幕信息
XML:http://comment.bilibili.com/497090740.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1tL4y1c7hj
获取弹幕信息
XML:http://comment.bilibili.com/710618932.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1LB4y1X7Nj
获取弹幕信息
XML:http://comment.bilibili.com/733727872.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1ya411W7Lv
获取弹幕信息
XML:http://comment.bilibili.com/759671800.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1aa411Z7U2
获取弹幕信息
XML:http://comment.bilibili.com/791084545.xml
解析视频弹幕xml地址
BV:https://www.bilibili.com/video/BV1Qd4y1d7px
获取弹幕信息
XML:http://comment.bilibili.com/815259646.xml
获取完成,正在生成词云
生成完毕，输出图片out.jpg

进程已结束,退出代码0

输出图片

如果你电脑有配置的话，可以试试把全B站的视频都输入进去[doge]

Yupen_Bob
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
B站弹幕爬虫+中文词云（蒙版形状）
m0_57356467的博客
09-14 266
学习视频： 北邮2020春季学期python作业——简易弹幕爬虫+词云图生成#木木_哔哩哔哩_bilibili 弹幕素材来自： 【4K】四川农业大学2020届毕业MV|《起风了——盛夏》_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili 词云图是根据词频形成的图像，关键词的词频越高，显示出来越大。 先附完整代码： import requests import re import wordcloud import imageio from fake_userag.
爬取B站弹幕生成词云
cl18154399536的博客
04-03 612
一、爬取弹幕 import requests import json import re #下载页面 def download_page(url): headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63....
2024年Python最全用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！，今日头条面试算法
m0_54816834的博客
05-09 480
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
B站视频弹幕的爬取和绘制词云图
FOR.GET
08-11 1095
# 只需 shift+回车 运行本单元格，就可以让jupyter notebook宽屏显示 from IPython.core.display import display, HTML display(HTML('<style>.container { width:100% !important; }</style>')) 1.爬虫 ① url：网页链接 ② 模拟浏览器的发送请求即响应 ③ 解析网页内容 def BZDM(url,headers): # 获取网
爬取B站评论区并且生成词云图
qq_50879110的博客
04-27 1284
已实现功能：爬取评论区内容并且生成云图。然后保存在桌面。 未实现功能：修改词云图形状没有实现。（如：苹果形状）报错没有解决。 创建一个B站评论爬虫改.py文件，这个文件功能是输入一个B站链接。爬取评论区，并且在桌面生成一个.txt文件 import random import requests import time import re headers = { # 'user-agent': 'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/5
B站弹幕爬取并制成词云
wudiliu226的博客
02-28 893
B站弹幕爬取并制成词云 前言 作为一个经济学学生，数据分析和可视化是一定要掌握的，从今天开始进行一些Python项目的记录，就不进行Python基础知识的讲解了！ 一、B站弹幕的爬取 弹幕地址获取 import re import requests import urllib import bs4 def main(): url = "你要爬的视频的地址" datalist = get_html(url) cid = saveurl(datalist) dmurl='https://
用Python爬取B站弹幕并做成词云
sinat_38961618的博客
06-19 4609
用Python爬取B站弹幕并做成词云 一、获取视频的cid号 1.进入想爬的视频，打开浏览器设置里的“开发者工具”： 进入Search后输入cid获得视频的cid号。 2.爬视频的弹幕 #爬数据正文 def get_data(cid): # 分析网页，并获取网页文件 url = 'https://comment.bilibili.com/{}.xml'.format(cid) #B站弹幕数据存放在https://comment.bilibili.com/cid.xml中，其中cid是视
爬取B站视频弹幕生成词云
weixin_43636302的博客
08-09 1081
效果预览 以B站UP主可乐三太火影1-720集解说视频2020-08-07弹幕爬取为例，生成词云 代码 # -*- coding: utf-8 -*- # @Time : 2020/8/8 22:11 # @Author : 马拉小龙虾 # @FileName: B站弹幕.py # @Software: PyCharm Community Edition # @Blog ：https://blog.csdn.net/weixin_43636302 import requests impor
bilibili弹幕转ass程序制作思路及过程
09-04
本文主要是为了方便线下播放Bilibili的弹幕，而专门制作的一款将弹幕转换为ASS的程序，介绍了程序制作的思路及过程，有需要的朋友可以参考下
python之blibli弹幕爬取及词云制作
11-25
在这个项目中，我们将探讨如何使用Python来爬取Bilibili网站上的弹幕数据，并利用这些数据生成词云，以此展示用户对视频内容的反应和情感倾向。 首先，Bilibili是一个以弹幕文化闻名的视频分享平台，用户在观看视频...
AutoJs源码-1爬取bilibili视频弹幕
11-14
AutoJs源码-1爬取bilibili视频弹幕。本资源购买前提醒：本源码都是实际autojs项目模板，安装好autojs直接运行即可打开。1、支持低版本autojs。2、资源仅供学习与参考，请勿用于商业用途，否则产生的一切后果将由您...
制作哔哩哔哩弹幕词云
qq_52358027的博客
11-02 593
不知道有没有人能猜出来这是哪个视频的弹幕 然后是制作词云代码 可能出现的报错： 缺少stoplist.txt文件，自行创建即可。作用是制作词的云排除你不想要的词，一个词占一行如果你想制作一个特定图案的词云，就可以将第六步中的两行代码的注释求掉，并添加你的图片文件，最好是颜色相差较大的图片，不然制作出来的词云效果不好，如果效果不好的话可以用PS把图片背景去掉，留下你想要的图案 之后就要制作ui界面了 可以跟着这个视频学习一下点我 我这个只是一个示例，以作参考，如果需要做出一个界面的话还是得自己学习一下 文件类
python爬取B站弹幕数据并生成词云图
weixin_51575130的博客
12-08 807
6.将爬取到的内容保存到文本文档，热门视频弹幕.txt中，打开查看爬取结果（这里爬取了三天的历史弹幕，因为视频是最近的，若想要更多数据，可以选择弹幕更多的视频，并修改代码中的 range参数）：用户在观看视频时会产生丰富的行为数据，如弹幕。3.这里选取首页的热门视频，打开网页的开发者模式，点击网络刷新页面，点击查看历史弹幕。5.这里的地址作为请求数据，查看历史弹幕需要登陆，这里需要放入cookie信息。4.这里再次刷新，能看到一个数据包里面又想要的弹幕数据。7.进行词云图显示，查看热门弹幕词。
萌新学习Python爬取B站弹幕+R语言分词demo说明
findhappy117的博客
03-04 1211
代码地址如下：http://www.demodashi.com/demo/11578.html 一、写在前面之前在简书首页看到了Python爬虫的介绍，于是就想着爬取B站弹幕并绘制词云，因此有了这样一个简单的尝试，从搭建环境到跑通demo，不懂语法，不知含义，装好环境，查到API，跑通Demo，就是目标！纯零基础萌新！ 关于环境的安装及调试过程中遇到的问题记录请移步二、Python爬取B站弹幕环境
Python爬取B站弹幕并做成云图
JiuQing的博客
12-27 921
Python爬取B站弹幕并做成云图
【自学笔记】R语言简单动态网页爬虫——以b站视频信息为例
qq_41483767的博客
06-08 2553
1、网站信息及爬虫目标 以b站某up主的视频主页https://space.bilibili.com/2206456/video为例，要爬取该up主的所有视频标题、播放量及评论，主要采用的是动态网页中常用的httr包，现观察我们的网页情况如下： 可以看到，相关的信息可以由network里的“search?mid=......"这个接口得到，查看Preview可看到里面有相应的作者，评论，发布动态的描述、视频标题，观看数、分区等信息，我们以评论数、观看数和标题为例。现在看相应的Headers情况：
快醒醒，别睡了!...讲《数据分析pandas库》了—/—＜4＞
最新发布
qq_64603703的博客
07-27 956
详细解说数据分析pandas库中的常用方法
python爬取bilibili弹幕
05-09
要爬取Bilibili弹幕，你需要准备以下工具： 1. Python编程环境 2. requests库，用于发送HTTP请求 3. xml.etree.ElementTree库，用于解析XML格式数据 接下来的步骤如下： 1. 打开Bilibili视频页面，找到视频编号...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值