java弹幕爬取,手把手教你爬取B站弹幕(超详细)！

最新推荐文章于 2024-03-31 19:20:14 发布
最新推荐文章于 2024-03-31 19:20:14 发布
阅读量4k 收藏 9
点赞数
文章标签： java弹幕爬取
本文详细介绍了如何使用Python爬取B站视频的弹幕。通过分析网页请求，发现弹幕数据存在于`https://comment.bilibili.com/视频ID.xml`的URL中。通过构造该URL，利用正则表达式提取视频ID，再用requests库获取XML数据，最后使用XPath解析弹幕内容。提供的代码示例展示了完整的爬虫流程。
摘要由CSDN通过智能技术生成

效果

输入要爬取的视频的BV号即可爬取该视频的弹幕。

20200325153353951203.png

过程

基本思路

基本的思路很简单，还是老步骤：

1、构造爬取的url

2、解析返回的数据

3、使用json或Xpath或正则表达式提取数据

4、保存数据

寻找url地址

第一步

刚开始还是从网页版中寻找url地址，结果请求很多，找了半天也没有找到

20200325153354220717.png

第二步

于是我们可以访问一下手机版的页面，而根据常识，弹幕这种东西一般是通过ajax来请求的，所以我们过滤一下，只看异步请求。

20200325153354613270.png

此时请求就变得少了很多，但是依然没有找到我们需要的弹幕数据，此时才发现我们并没有点击播放视频。

第三步

弹幕是在视频播放的过程中播放的，理所当然只有当我们播放视频并且打开弹幕后才会请求弹幕

最低0.47元/天 解锁文章
weixin_39598954
关注
java获取视频弹幕
林炫的博客
02-13 1143
java获取视频弹幕
Java爬虫——B站弹幕爬取
weixin_34319999的博客
12-12 1006
如何通过B站视频AV号找到弹幕对应的xml文件号 首先爬取视频网页，将对应视频网页源码获得 就可以找到该视频的av号aid=8678034 还有弹幕序号，cid=14295428 弹幕存放位置为 http://comment.bilibili.com/14295428.xml 获得该链接内容即可。 1 package BiliBil...
java实现B站弹幕爬取
weixin_44337267的博客
03-07 747
package com.wang.demo; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONArray; import com.alibaba.fastjson.JSONObject; import org.jsoup.Connection; import org.jsoup.Jsoup; import java.io.IOException; public class jsoup { public static void
java爬虫爬取B站弹幕
lizhe0327的博客
09-05 935
首先创建一个maven项目，并导入Jsoup包` <dependencies> <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.11.3</version> </depend.
[工具代码]使用Java爬取b站弹幕文件
clayanddev的博客
12-31 2736
简介 正文 后记简介跳过废话，直接看正文这是我在很久前用Java编写的爬取b站弹幕文件的工具类，仅供参考。（注：截止于2016年底，凡是url是www.bilibili.com/video/av号/这类网址都能正常工作）正文 Constants public class Constants { public static final String BILIBILI_DANMU_FILE_PA
Python爬虫入门教程！手把手教会你爬取网页数据
热门推荐
m0_67401228的博客
07-29 2万+
爬虫就是自动获取网页内容的程序，例如搜索引擎，Google，Baidu等，每天都运行着庞大的爬虫系统，从全世界的网站中爬虫数据，供用户检索时使用。爬虫流程其实把网络爬虫抽象开来看，它无外乎包含如下几个步骤模拟请求网页。模拟浏览器，打开目标网站。获取数据。打开网站之后，就可以自动化的获取我们所需要的网站数据。保存数据。拿到数据之后，需要持久化到本地文件或者数据库等存储设备中。那么我们该如何使用Python来编写自己的爬虫程序呢，在这里我要重点介绍一个Python库Requests。r?...
干货：手把手教你——某宝直播弹幕爬虫
小码农 TT
12-12 4700
干货：手把手教你——某宝直播弹幕爬虫
python爬取音乐源码_手把手教你使用Python抓取QQ音乐数据（第一弹）
weixin_30000407的博客
12-30 1990
【一、项目目标】获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。由浅入深，层层递进，非常适合刚入门的同学练手。【二、需要的库】主要涉及的库有：requests、json、openpyxl【三、项目实现】1.了解 QQ 音乐网站的 robots 协议只禁止播放列表，可以操作。2.进入 QQ 音乐主页 https://y.qq.com/3.输入任意歌手，比如邓紫棋4.打开审查元...
Java爬虫B站弹幕_Java爬虫——B站弹幕爬取
weixin_29295541的博客
02-25 320
如何通过B站视频AV号找到弹幕对应的xml文件号首先爬取视频网页，将对应视频网页源码获得就可以找到该视频的av号aid=8678034还有弹幕序号，cid=14295428弹幕存放位置为 http://comment.bilibili.com/14295428.xml获得该链接内容即可。1 package BiliBili弹幕爬取;23 import org.apache.http.HttpEn...
基于Java的Bilibili弹幕截取小程序
04-11
基于Java的有关Bilibili弹幕截取的小程序，主要涉及简单的JavaFX和爬虫技术
爬取弹幕
CoderOne
06-15 564
1.弹幕的爬取 import requests import json import chardet import re from pprint import pprint # 1.根据bvid请求得到cid def get_cid(): url = 'https://api.bilibili.com/x/player/pagelist?bvid=BV1PK4y1b7dt&jsonp=jsonp' res = requests.get(url).text json_dict
Java爬虫B站弹幕,java爬B站弹幕加java生成词云
weixin_42517317的博客
03-22 361
java爬B站弹幕加java生成词云java爬B站弹幕加java生成词云先添加依赖 然后直接用就行了org.apache.httpcomponentshttpclient4.5.12com.kennycasonkumo-core1.27com.kennycasonkumo-tokenizers1.27package com.yang;import com.kennycason.kumo.Colli...
b站弹幕爬取
BILL的博客
11-23 1136
批量弹幕爬取 import re import requests from bs4 import BeautifulSoup import sys def get_outer_urls(n): ''' 【分页网址url采集】 n：爬取页数 结果：得到分页网页的list ''' urllst = [] for i in range(n): ui = f'https://search.bilibili.com/all?keyword=助
程序员必须知道的数据结构：线性表与链表(1)，2024Python进阶学习资料
最新发布
m0_60666452的博客
03-31 408
现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习。// add() 方法没有指定添加的数据对象的位置。// LinkedList 实现 add() 方法。// 实现也比较简单，直接将数据对象赋值到数组中。
java获取B站弹幕文件的两种方案
weixin_34088598的博客
01-22 1274
（一）实现思路 1，定位弹幕文件 一般用json或xml格式来保存弹幕，所以我们只要找到视频网页里面的xml文件或json文件，就能定位到弹幕文件。 2，解析弹幕文件 然后通过jsoup解析文件，提取我们弹幕的文本内容。 （二）第一个实现方案，解析本地文件 1，定位弹幕文件 比如我们希望爬取下方视频的弹幕文件。 打开Chrome的Network后刷新网页，再输入框中输入xml筛选出xml文件资源...
爬取某站热门视频的弹幕，并进行弹幕分析
gets_s的博客
03-28 2012
一、B站弹幕分析 B站弹幕数据存放在https://comment.bilibili.com/cid.xml中，其中cid是视频的cid号，获取需要爬取的视频的cid号的方法如下： 二、页面源代码 # -!- coding: utf-8 -!- import requests import re import pandas as pd import string import jieba def get_data(cid): # 分析网页，并获取网页文件 url = 'https:/
爬取B站弹幕（Java版本，附带deflate解压）
ThinkStu的博客
02-14 2万+
前几天突发奇想要爬取B站的弹幕，于是简单在网上找到了B站的弹幕API，关于如何获取B站的接口这里不再赘述，本文主要集中解决我在此开发过程中所遇到的难题。（采用okhttp） 开始的时候，我是想直接爬取B站的弹幕内容，然后打印出来，但是很快我就发现事情并没有那么简单，B站的响应（response）采用了deflate压缩算法，okhttp无法直接解析。如下： import java.io.*; import java.util.zip.Inflater; import okhttp3.OkHttpCl
爬取B站弹幕
qq_35859033的博客
01-18 4903
最近几天学习爬虫，便爬取了B站的弹幕，本篇博文记录的是爬取弹幕的方法一，近期会更新方法二。 下面是流程： 1.随意打开一个B站视频，按F12，点开network按键，在左上方的输入区输入 list 便可找到相应的弹幕数据包。  点开这个包是这个形式的网站 这里面就有明文的弹幕，但通过requests获得的response是经过utf-8编码加密过的，想要获得弹幕内容还要解密。 下...
"手把手教你HTML教程，带有多彩案例！
手把手教你HTML教程 HTML是一种用于创建网页的标记语言，是构建互联网世界的基础。本教程将手把手地教你如何使用HTML进行网页的构建。通过配备丰富的例子和多彩多字的案例，帮助你深入理解HTML的各种基本标记，使你...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值