java获取b站动态列表地址_爬虫入门(三)爬取b站搜索页视频分析（动态页面，DBUtils存储）...

最新推荐文章于 2023-09-09 10:26:43 发布
VIP文章 最新推荐文章于 2023-09-09 10:26:43 发布
阅读量1.1k 收藏 3
点赞数
文章标签： java获取b站动态列表地址
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33289964/article/details/114824365
版权

这一次终于到了分析b站视频了。开始体会到写博客非常占用学技术的时间，但是还是希望能总结，沉淀下来。

工具：使用Webmaigc框架，DBUtils，C3P0连接池。

分析过程：b站的搜索页面是这样的。如果浏览器右键查看源代码，你会发现是动态页面，也就是从后台通过ajax等在某个路径加载获得数据

71f3eac892e043c19ec7f973ca4909aa.png

于是初入爬虫的我，打算贪方便试一下selenium模拟浏览器行为，结果效果不太好。当时是b站的搜索页面经常显示的是 出错啦，后来我就苦苦思索，我通过b站的页面在F12开发者工具里，从请求路径里找到了b站视频的搜索url，https://search.bilibili.com/api/search，当时还是很激动的！

从这个路径进去，发现b站视频的数据实际上是一个大Json，通过看webmagic文档知道了它提供了JsonPath的拿取方法。于是就按JsonPath拿数据，原本是用xpath在html里拿数据。

先贴一下我的processor核心代码：

1 public class BilibiliSearchProcessor implementsPageProcessor{2 private Site site = Site.me().setUserAgent("Mozilla/5.0 (Windows NT 10.0; …e/59.0.3071.109 Safari/537.36")3 .

最低0.47元/天 解锁文章
苘郁蓁
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
commons_dbutils1.4_itmop.com_JDBC_开源工具类库.zip
04-17
commons_dbutils1.4_itmop.com_JDBC_开源工具类库 免费下载
基于SpringBoot的哔哩哔哩动态爬取网站
qq_21347209的博客
12-27 1655
原理：通过b站的动态api获取动态的json，从json中获取动态的作者与图片信息，并持久化到数据库。 b站的动态链接格式为https://t.bilibili.com/xxx其中xxx为动态的id，通过b站的api接口：https://api.vc.bilibili.com/dynamic_svr/v1/dynamic_svr/get_dynamic_detail?dynamic_id=xxx 即可获取到此动态的json数据。 关键功能实现： 首先通过工具类从用户提交的完整网址中提取动态id .
Java 爬取BiliBili Up视频
小咸鱼
10-04 6734
爬视频找了好久都没有找到接口，后面百度半天不行，就在谷歌找到了这文章： Java 爬虫练习-bilibili视频下载 索引 写的非常详细，感兴趣 的可以去看看。 我就大概描述记录一下过程 准备 一、创建普通的maven工程 二、pom依赖 <dependency> <groupId>org.jsoup</groupId> <artifactId&gt...
抓取Bilibili哔哩哔哩网站视频(Java和Python双版本实现)
qq_33665655的博客
07-20 1万+
1、B站视频真实地址分析 我一直觉得编程语言只是一种工具，重要的是思想????。下面先来分析下B站视频的真实地址。 1.1 获取视频的信息数据 使用PC通过浏览器随便打开一个B站的视频，右键检查或者是按F12，查看网页源代码。我们会发现有一个script标签内的内容是这样的。 嗯，仿佛这就是视频的信息了。下面我们将其复制出来，格式化一下。 window.__playinfo__ = { "data": { "accept_format": "flv720,
基于java实现bilibili视频爬虫
毕业作品网站
05-16 3382
实验概述 【实验项目名称】 Implementing a Bilibili video webcrawler 【实验目的】 Understand HTTP requests, responses, and redirections. Use apache-httpclient to make up requests and decompose responses. Use jsoup to traverse between and inside HTML tags. Know SQL grouping
通过java下载B站视频
u014799602的博客
05-08 3179
本项目分为以下几点 获取Bvid 获取Cid 获取视频原始链接 使用Java下载视频文件 1.获取Bvid 我们首先需要获取Bvid，也就是视频id，如果只想下载一个指定的视频那么直接输入Bvid即可。 如果需要批量下载那么就需要程序帮我们抓取Bvid，关于如何使用爬虫爬取我们需要的信息，可以参考我的另一篇文章：通过Java爬虫实现51job申请职位 的第四部分 获取Bvid 2.获取Cid 这里我们需要用到一条api链接:https://api.bilibili.com/x/w
commons-dbutils.jar.rar
07-24
commons-dbutils.jar jdbc工具类jar包 1.3、1.6、1.7三个版本
struts-card-System.zip_ROOT_dbutils_名片管理系统
09-20
基于struts的名片管理系统 用到的第三方jar包 commons-dbutils-1.1.jar 数据库连接池配置文件 cardweb.xml 数据库使用的是mysql 用户名root 密码root 本系统是基于struts开发的名片管理系统 只适合初学者学习交流
DBUtils.java数据库的基础封装操作
最新发布
12-21
在封装SQL语句之前，我们得知道什么是DAO封装与实体类以及JDBC工具类的封装与连接数据库的具体流程。 封装SQL语句的好处： 封装SQL语句后就可以导包，给其他的工程使用，大大降低开发的强度，减少代码的冗余。...
DBUtils.java
04-06
DBUtils.java
爬虫入门(三)爬取b站搜索页视频分析（动态页面，DBUtils存储）
weixin_30299709的博客
05-27 1125
这一次终于到了分析b站视频了。开始体会到写博客非常占用学技术的时间，但是还是希望能总结，沉淀下来。 b站分析结果文章：https://www.bilibili.com/read/cv523868/ 工具：使用Webmaigc框架，DBUtils，C3P0连接池。 分析过程：b站的搜索页面是这样的。如果浏览器右键查看源代码，你会发现是动态页面，也就是从后台通过ajax等在某个路径加载获得数据 ...
Java实现爬取哔哩哔哩视频信息程序
z2742431760的博客
10-11 4723
一，说明 爬取b站视频信息时，如果直接用URL打开流进行爬取网站源码时，会发现Java程序上一片空白（既然大家看这篇文章了，想必大家页遇到了这个问题），说明无法直接爬取，接下来我会讲解怎么爬取b站。 二，程序演示 视频地址：https://www.bilibili.com/video/BV1Kb411W75N/ （注意视频地址一定要是这个格式的，因为本程序还没通用性，大家也可以改改啊啊啊） 程序代码 import java.io.BufferedReader; import java.io.IOExce
scala+jsoup爬取B站动态数据
weixin_45075077的博客
09-05 1819
Scala+Jsoup爬取B站动态数据 示例仅作为记录练习，不存在恶意爬取网页，如涉及违法，立删。 代码过于简单不贴了。 使用scala+jsoup爬取B站数据，由于大部分数据属于动态数据，直接访问主页是获取不到有用数据 比如要爬取“生活区-搞笑类”的视频列表 上面对应的URL是https://www.bilibili.com/v/life/funny/?spm_id_from=333.33...
IDEA JAVA使用BilibiliClient抓取哔哩哔哩用户动态等数据信息
冷朴承
02-13 1209
一直在想办法获取哔哩哔哩的相关对象，对媒体运营数据进行自动管理，于是写了一个BiliClient的JAR包，自己使用，也分享出来，希望可以帮助大家，目前该项目已经上传GITHUB和Maven中央仓库，可以直接使用依赖引入。 引入Maven依赖包 在IDEA中新建Maven项目，并在POM文件中加入如下依赖 <dependency> <groupId>cn.hll520.linling.client</groupId> .
python3网络爬虫--最新爬取B站视频弹幕 so文件（附源码）
懷淰メ的博客
09-09 3793
这里把A C站称为小破站小破站在2023年将弹幕接口的返回值从.xml改成了.so文件返回值示例：很明显部分数据是被加密了。本次通过调研protobuf协议通过搭建环境，使用Python撰写代码实现了对B战弹幕的解析，对于大多数人而言，可能搭建本地环境那里有些难，在此奉上封装好的dm_pb2.py文件点击下载，大家放在自己的脚本同级目录下即可。
总结一点B站API
weixin_44795839的博客
01-05 5769
来源：https://www.bilibili.com/read/cv5363590/ 自己的工程原装复制粘贴 //主站 const URL_INDEX=“https://www.bilibili.com”; const URL_INDEX_MOBILE=“https://m.bilibili.com/index.html” //主站分区排行 const URL_MAIN_RANKING = “https://m.bilibili.com/ranking.html”; //排行榜 rid分区，day最近.
哔哩哔哩bilibili 部分接口
热门推荐
小花魁的博客
02-09 1万+
哔哩哔哩bilibili 部分接口APIbilibili网站API获取动态参数响应示例 bilibili网站API 获取动态 GET https://api.vc.bilibili.com/dynamic_svr/v1/dynamic_svr/space_history 参数 名称 含义 示例 是否必需 visitor_uid 可能是访客的用户ID 0 否 host_uid...
B站动态自检方法1 bilibili应用自检
shenyang的博客
05-22 1957
2、访问PC局域网IP:8002/fetchCrtFile,进行证书下载步骤。实际上，在你手机上你访问这个地址 http://192.168.2.175:8002/fetchCrtFile ，正常情况就下载到证书了。采用电脑开代理的方式获取sdk请求。4、如果Mac系统，需要对证书权限进行修改，请设置为始终信任。2、双击弹出目录中的root.crt文件进行证书安装。本文档，保姆级教程，请认真阅读。3、点击下一步完成安装步骤。3、证书下载后完成证书安装。1、点击安装PC证书步骤。1、点击开启动态自检。
java获取b站动态列表地址,java获取B站弹幕文件的两种方案
weixin_39796116的博客
03-16 596
(一)实现思路1，定位弹幕文件一般用json或xml格式来保存弹幕，所以我们只要找到视频网页里面的xml文件或json文件，就能定位到弹幕文件。2，解析弹幕文件然后通过jsoup解析文件，提取我们弹幕的文本内容。(二)第一个实现方案，解析本地文件1，定位弹幕文件比如我们希望爬取下方视频的弹幕文件。打开Chrome的Network后刷新网页，再输入框中输入xml筛选出xml文件资源：光标移动到该文件...
java.lang.classnotfoundexception: org.apache.commons.dbutils.resultsethandler
06-28
### 回答1： 这是一个Java异常，表示无法找到org.apache.commons.dbutils.resultsethandler类。这通常是由于缺少相关的类库或jar包引起的。要解决这个问题，需要确保正确配置了类路径，并且所有必需的类库和jar包都已正确安装和配置。 ### 回答2： java.lang.classnotfoundexception是Java程序开发中常见的一个运行时错误，它表示在运行时找不到某个类。而org.apache.commons.dbutils.resultsethandler是Apache Commons DbUtils库中的一个类，这个库通常被用来简化JDBC操作。如果程序中引用了DbUtils库中的类，却在运行时找不到这个类，就会出现java.lang.classnotfoundexception。 出现这种错误的原因一般有以下几种： 第一种是缺少需要的jar包。在使用Apache Commons DbUtils库时，需要将其相关的jar包加入到项目的classpath路径下。如果缺少了这些jar包，程序就找不到相关的类，就会出现classnotfoundexception。 第二种是编译时和运行时环境不一致。通常情况下，我们使用的开发环境和运行环境并不完全一致。比如说，我们在Eclipse中编写Java代码时，使用的是JDK中的一些类库，但在实际运行时使用的可能是JRE中的类库。这时就可以出现在编译时找到但在运行时却找不到的类的情况。 第三种是类名拼写错误。有时候我们可能会疏忽拼写类名，或者是类的完整路径被写错了。这都会导致程序运行时找不到相应的类，从而出现classnotfoundexception。 为解决这个问题，我们可以先确认是否缺少相关的jar包，如果是，将其添加到项目中。如果不是，我们需要检查classpath的设置，确认编译时和运行时环境是否一致，并检查是否有类名拼写错误的问题。如果确定环境和拼写都没有问题，可以考虑打包、重新部署程序。 ### 回答3： java.lang.ClassNotFoundException: org.apache.commons.dbutils.ResultSetHandler 这个错误通常是由于类路径的问题而导致的。通常，这个错误表示您正在尝试加载一个不存在的类或jar文件。 通常，这个错误是由几个原因造成的。在Java编程中，我们通常可以通过以下方法解决这个问题。 1. 检查你的代码，确保正确地引用了相关的类或jar文件。这通常涉及到建立正确的类路径。您可以通过添加所需的类路径到您的开发环境中来解决这个问题。 2. 确定你的行动是否符合版本。版本一致性会很重要。不同版本的数据库/软件可能使用不同的API，这可以导致问题。 3. 如果您使用的是Maven或Gradle等构建工具，则您需要在您的构建说明中正确地添加依赖项。这可以确保所需的类或jar文件正确地添加到您的项目中。 4. 检查您是否有权限执行所需的操作。这可能涉及到检查您的安全权限是否正确设置。 5. 如果无法解决问题，请考虑联系技术支持团队获得更多的帮助。 综上所述，上述措施可以确保您正确地使用所需的类或jar文件，并避免java.lang.ClassNotFoundException错误。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值