Python爬取B站十周年特辑视频弹幕数据，并绘制生成词云。（附源码）

最新推荐文章于 2024-05-30 22:18:55 发布
最新推荐文章于 2024-05-30 22:18:55 发布
阅读量424 收藏 1
点赞数
分类专栏： Python实战案例 文章标签： python 开发工具 pycharm 爬虫 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tsp2021713/article/details/119570244
版权
本文介绍了如何使用Python爬取B站十周年特辑视频的弹幕数据，通过Request模块和XPath解析接口数据，然后利用bilibili_api库简化操作。在获取数据后，通过jieba分词和WordCloud库绘制词云。文章提供了安装教程、关键代码片段以及所需模块，包括video、user、dynamic和Request等。最后，作者分享了Python数据分析相关的学习资源。
摘要由CSDN通过智能技术生成

前言

今天用“Running Man”十周年特辑的视频，来做个获取弹幕的案例分享给大家，直接开整~

效果展示

在这里插入图片描述

开发工具

Python版本： 3.9.6

相关模块：

video模块

user模块

dynamic模块

Request模块

Xpath模块

以及python自身的模块

思路分析

1、弹幕数据接口

https://comment.bilibili.com/123072475.xml (一个固定的url地址 + 视频的cid + .xml)

2、利用Request模块，获取数据

3、利用Xpath解析数据

经过bilibili_api的封装，弹幕数据获取的部分仅用了一行代码：

danmu = video_info.get_danmaku()

相应的获取视频的基本信息和评论信息也是一样的便捷。

basic_info = video_info.get_video_info()
comments = video_info.get_comments(
最低0.47元/天 解锁文章
千寻编程
关注
专栏目录
【Python学习】网络爬虫-获取B站弹幕时间并制作折线图
u014481728的博客
06-26 1381
【Python学习】网络爬虫-获取B站弹幕并制作折线图：在本实例中，我们获取了B站视频的弹幕时间，并对弹幕进行了分段统计，最后以折线图的形式进行了展示。使用到的模块包括：requests、BeautifulSoup和pyecharts。requests：是一个常用的 HTTP 请求库，可以方便地向网站发送 HTTP 请求，并获取响应结果。requests 模块比 urllib 模块更简洁。
用python爬取B站弹幕并绘制词云
Cachel Wood的博客
07-07 817
弹琵琶的小姐姐是我学python的动力啊啊啊
python自动获取B站弹幕并生成词云
yolov4的博客
04-22 985
这是关于python自动获取B站弹幕并生成词云的小例子 1、思路 用requests获取B站的网页内容 用BS来解析网页内容，并获得弹幕 将弹幕保存本地txt中 读取txt采用wordcloud生成词云 2、导入库 # -*- coding=utf-8 -*- import requests from bs4 import BeautifulSoup import re import jieb...
python3抓取b站弹幕_python3写爬取B站视频弹幕功能
weixin_39670464的博客
03-01 413
需要准备的环境:一个B站账号,需要先登录,否则不能查看历史弹幕记录联网的电脑和顺手的浏览器,我用的ChromePython3环境以及request模块,安装使用命令,换源比较快:pip3 install request -i http://pypi.douban.com/simple爬取步骤: 登录后打开需要爬取的视频页面,打开开发者工具台,Chrome可以使用F12快捷键,选择network监听...
python3抓取b站弹幕_3行！仅3行代码就能抓取B站（弹幕、评论、用户）数据
weixin_32434033的博客
03-01 645
今天介绍一个获取B站数据的Python扩展库-bilibili_api可以获取的数据包括：video-视频模块user-用户模块dynamic-动态模块这次用“Running Man”十周年特辑的视频，来做个获取弹幕的Demo。我是对比没有对比，就没有伤害，就像最近的“哈工大”某学生和“浙大”某学生一样。这是之前获取弹幕的过程：1、弹幕数据接口2、利用Request模块，获取数据3、利用Xpath...
python实战：爬取哔哩哔哩视频弹幕
stormhou的博客
01-02 3158
response 内就是乱码的弹幕数据，弹幕内容可以通过 re 正则表达式提取。（本文首发在“程序员coding”公众号）pycharm 控制台输出如下，获取到 16589 条弹幕。（本文首发在“程序员coding”公众号）点开视频右侧的“弹幕列表”，点击下面的“查看历史弹幕”，选择一个其他日期。键盘 F12 快捷键，或者鼠标右击“检查”打开浏览器的检查页面。这个请求，右边就是弹幕的 url 地址。，播放任意一个视频。在开发者工具页面，找到。
B站弹幕接口
热门推荐
Enderman_xiaohei的博客
01-26 1万+
一、B站弹幕的api接口 1.'https://comment.bilibili.com/' + cid + '.xml' 2.'https://api.bilibili.com/x/v1/dm/list.so?oid=' + cid e.g: cid = 72540443https://comment.bilibili.com/72540443.xmlhttps://api.bilibili....
Python动态爬取B站弹幕并生成统计图
08-08
建议内容： 输入影片名称，获取哗哩哗哩网址以对应弹幕链接:程序自动搜索对应影片哗哩哗哩网址，...数据分析:爬取弹幕中时间部分内容，进行数据转换后分时间段统计弹幕数量并进行图形化显示影片各个阶段弹幕分布情况
python爬取b站弹幕并进行数据可视化
weixin_43996337的博客
11-22 1万+
python爬取b站弹幕并进行数据可视化 1.第一步，爬取b站弹幕 我们随便打开一个b站视频 打开开发者模式，在network下搜索list，可以找到该视频的弹幕文件 打开之后是这个样子的 结构还是比较简单的，我们后续爬取数据也就比较方便 下面是爬取弹幕的代码 // An highlighted block from bs4 import BeautifulSoup#负责解析网页源码 imp...
爬取B站弹幕并生成HTML格式的词云图
m0_64922996的博客
03-25 1825
一、导入模块部分 首先是需要5个模块： 1⃣️requesets 2⃣️bs4 3⃣️jieba 4⃣️pyecharts 1.8.1 5⃣️lxml（虽然没有使用import，但是这个要装，在代码中会用到） #引入requests请求模块 import requests #引入bs4模块 from bs4 import BeautifulSoup #引入结巴库 import jieba #引入词云模块 from pyecharts.charts import WordCloud 二、输
theymleaf get数据_3行！仅3行代码就能抓取B站（弹幕、评论、用户）数据
weixin_39667041的博客
10-25 169
今天介绍一个获取B站数据的Python扩展库-bilibili_api可以获取的数据包括：video-视频模块user-用户模块dynamic-动态模块这次用“Running Man”十周年特辑的视频，来做个获取弹幕的Demo。我是对比没有对比，就没有伤害，就像最近的“哈工大”某学生和“浙大”某学生一样。这是之前获取弹幕的过程：1、弹幕数据接口https://comment.bilibili.co...
B站弹幕api
akatale的博客
02-03 1651
B站最近（或者不是很近？）更新了弹幕的加载逻辑，现在是在最开始加载一个json弹幕分片（protobuf格式文件seg.so），时长大概6分钟。若视频时长大于6分钟，则在播放器里视频时间超过6分钟时加载第2个分片。如果视频时长更长依次有更多的分片。 但以前的弹幕api仍然（暂时）有效，以https://www.bilibili.com/video/av288554260为例： XML https://comment.bilibili.com/284038161.xml https://api.bili
Python实现获取b站视频的弹幕内容
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
12-11 355
本文是该专栏的第39篇，后面会持续分享python的各种干货知识。​在本专栏之前，有详细介绍使用python增加b站视频的播放量方法，感兴趣的同学可往前翻阅《Python-增加b站视频播放量》。而本文，笔者再来单独的详细介绍，通过python来获取b站视频的弹幕内容。废话不多说，下面跟着笔者直接往下看正文内容的详细思路和逻辑，在文中将结合代码进行详细说明。（附完整代码）在开始之前，首先确保本地已经安装好了python环境。在确保环境没有问题的情况下，再来安装本文需要用到的第三方库，那就是...
爬虫6_周杰伦新歌《Mojito》B站弹幕分析
Lin_Xiao_Dai的博客
06-12 1734
6.12周杰伦发布新歌《Mojito》，赶紧蹭个热点来看一下大家弹幕都会说点什么。 爬取链接【官方MV】Mojito - 周杰伦 本项目源码，提取码duq8 找弹幕API 自己抓包研究是不可能的，前人肯定都帮我们踩过坑了，所以我这种技术渣渣肯定要在搜索引擎上搜寻资料的，B站弹幕接口，这篇文章很详细地介绍了B站弹幕API的各个参数。 B站弹幕API格式：https://api.bilibili.com/x/v1/dm/list.so?oid= + cid 找cid 打开爬取链接 F12打开开发者模式 选择
屏蔽b站弹幕
u010563350的博客
08-13 749
为什么要屏蔽？ 有时候看一个学习视频，跑来那么多喷子，真的是。。。 怎么屏蔽 1.点击弹幕列表后面的三个点，请看图：2.点击屏蔽设定 3.点击匹配正则 4.输入 /(.*?)/ 点击添加 5.done 原理，利用正则把所有的文字都给他屏蔽了。 这个只针对一个有很多集的视频，如果换另一个视频还得启动正则匹配。 有兴趣的小伙伴可以利用js做个脚本让所有视频都开启屏蔽。 可以在文章下面评论。 ...
哔哩哔哩弹幕api及一些解释
akimotomei的博客
03-25 4966
有两个弹幕api接口，分别是移动端与电脑端 https://comment.bilibili.com/ + cid + .xml https://api.bilibili.com/x/v1/dm/list.so?oid= + cid 以电脑端为例子，使用谷歌浏览器打开某个哔哩哔哩的视频： 右键–检查–network–刷新–一个个找吧，如图，这里已经找到了，点击Headers，就是api了，移动端...
最新爬虫B站视频弹幕 so文件
redis数据库安装及启用
05-30 786
本次通过调研protobuf协议通过搭建环境，使用Python撰写代码实现了对B战弹幕的解析，对于大多数人而言，可能搭建本地环境那里有些难，在此奉上封装好的protoc-3.17.3-win64及dm-pb2.py文件 点击下载，大家放在自己的脚本同级目录下即可。
pythonB站弹幕爬取并运用地图词云显示完整代码
最新发布
09-11
在Python中爬取B站视频的弹幕并制作成地图词云展示，需要几个步骤：首先抓取网页数据，然后处理弹幕内容，最后生成词云并将其放在地图上。这里是一个简化的示例，假设我们使用了`requests`、`BeautifulSoup`库用于网络请求和HTML解析，`lxml`库作为BeautifulSoup的一个替代选择，`wordcloud`和`geopandas`库来创建词云和地图，以及`pyecharts`库来展示地图。 ```python import requests from bs4 import BeautifulSoup import re import pandas as pd from wordcloud import WordCloud import geopandas as gpd from pyecharts import options as opts from pyecharts.charts import Map # 爬取B站弹幕数据 def get_bilibili_danmu(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'lxml') danmu_list = soup.select('.d-share .d-mid .c-danmu-item') # 提取丹字列表 return [danmu.text for danmu in danmu_list] # 清理并统计词频 def process_danmu(danmus): cleaned_danmus = [re.sub(r'\W+', '', danmu) for danmu in danmus] # 去除标点符号和空格 frequency = {word: cleaned_danmus.count(word) for word in set(cleaned_danmus)} return frequency # 创建词云 def create_wordcloud(frequency): wc = WordCloud(font_path='simhei.ttf', width=800, height=600, background_color='white').generate_from_frequencies(frequency) return wc.to_image() # 获取中国省份信息 china_province_data = gpd.read_file(gpd.datasets.get_path('naturalearth_lowres')) # 使用词云数据绘制地图 def map_with_wordcloud(province_data, wordcloud_img): chart = Map() chart.add("", province_data['name'], china_province_data.geometry, maptype="China") img_option = opts.ImageOption(src=wordcloud_img) chart.options设置 = { "visualMap": { "max": max(frequency.values()), "inRange": {"symbolSize": [5, 10]}, }, "series": [{"type": "map", "label": {"show": False}, "itemStyle": img_option}] } chart.render("bilibili_danmu_map.html") # 示例用法 url = "https://www.bilibili.com/video/BV某个视频ID" # 替换为实际的视频URL danmus = get_bilibili_danmu(url) frequency = process_danmu(danmus) wordcloud_img = create_wordcloud(frequency) map_with_wordcloud(china_province_data, wordcloud_img)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值