java获取b站动态列表地址_爬虫入门(三)爬取b站搜索页视频分析（动态页面，DBUtils存储）...

最新推荐文章于 2023-11-15 17:02:50 发布
最新推荐文章于 2023-11-15 17:02:50 发布
阅读量1.2k 收藏 3
点赞数
文章标签： java获取b站动态列表地址
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33289964/article/details/114824365
版权
本文介绍了如何使用Webmagic框架和DBUtils，配合C3P0连接池，爬取B站视频搜索页面的数据。通过分析B站的搜索API，获取视频的作者、标题、链接、时长、观看数等信息，并解析JSON数据，将数据存储到数据库中。在爬取过程中，强调了设置合适的site配置以避免被限制，以及动态页面的处理策略。
摘要由CSDN通过智能技术生成

这一次终于到了分析b站视频了。开始体会到写博客非常占用学技术的时间，但是还是希望能总结，沉淀下来。

工具：使用Webmaigc框架，DBUtils，C3P0连接池。

分析过程：b站的搜索页面是这样的。如果浏览器右键查看源代码，你会发现是动态页面，也就是从后台通过ajax等在某个路径加载获得数据

71f3eac892e043c19ec7f973ca4909aa.png

于是初入爬虫的我，打算贪方便试一下selenium模拟浏览器行为，结果效果不太好。当时是b站的搜索页面经常显示的是 出错啦，后来我就苦苦思索，我通过b站的页面在F12开发者工具里，从请求路径里找到了b站视频的搜索url，https://search.bilibili.com/api/search，当时还是很激动的！

从这个路径进去，发现b站视频的数据实际上是一个大Json，通过看webmagic文档知道了它提供了JsonPath的拿取方法。于是就按JsonPath拿数据，原本是用xpath在html里拿数据。

先贴一下我的processor核心代码：

1 public class BilibiliSearchProcessor implementsPageProcessor{2 private Site site = Site.me().setUserAgent("Mozilla/5.0 (Windows NT 10.0; …e/59.0.3071.109 Safari/537.36")3 .s

最低0.47元/天 解锁文章
苘郁蓁
关注
scala+jsoup爬取B站动态数据
weixin_45075077的博客
09-05 1895
Scala+Jsoup爬取B站动态数据 示例仅作为记录练习，不存在恶意爬取网页，如涉及违法，立删。 代码过于简单不贴了。 使用scala+jsoup爬取B站数据，由于大部分数据属于动态数据，直接访问主页是获取不到有用数据 比如要爬取“生活区-搞笑类”的视频列表 上面对应的URL是https://www.bilibili.com/v/life/funny/?spm_id_from=333.33...
Java实现爬取哔哩哔哩视频信息程序
z2742431760的博客
10-11 4944
一，说明 爬取b站视频信息时，如果直接用URL打开流进行爬取网站源码时，会发现Java程序上一片空白（既然大家看这篇文章了，想必大家页遇到了这个问题），说明无法直接爬取，接下来我会讲解怎么爬取b站。 二，程序演示 视频地址：https://www.bilibili.com/video/BV1Kb411W75N/ （注意视频地址一定要是这个格式的，因为本程序还没通用性，大家也可以改改啊啊啊） 程序代码 import java.io.BufferedReader; import java.io.IOExce
java获取b站动态列表地址,java获取B站弹幕文件的两种方案
weixin_39796116的博客
03-16 635
(一)实现思路1，定位弹幕文件一般用json或xml格式来保存弹幕，所以我们只要找到视频网页里面的xml文件或json文件，就能定位到弹幕文件。2，解析弹幕文件然后通过jsoup解析文件，提取我们弹幕的文本内容。(二)第一个实现方案，解析本地文件1，定位弹幕文件比如我们希望爬取下方视频的弹幕文件。打开Chrome的Network后刷新网页，再输入框中输入xml筛选出xml文件资源：光标移动到该文件...
通过java下载B站视频
u014799602的博客
05-08 3443
本项目分为以下几点 获取Bvid 获取Cid 获取视频原始链接 使用Java下载视频文件 1.获取Bvid 我们首先需要获取Bvid，也就是视频id，如果只想下载一个指定的视频那么直接输入Bvid即可。 如果需要批量下载那么就需要程序帮我们抓取Bvid，关于如何使用爬虫爬取我们需要的信息，可以参考我的另一篇文章：通过Java爬虫实现51job申请职位 的第四部分 获取Bvid 2.获取Cid 这里我们需要用到一条api链接:https://api.bilibili.com/x/w
Java爬取哔哩哔哩视频（可视化）
咸鱼的博客
11-15 1407
本文仅供学术用途。
commons_dbutils1.4_itmop.com_JDBC_开源工具类库.zip
04-17
Apache Commons DBUtils是一个Java库，它简化了JDBC（Java Database Connectivity）的使用，为开发者提供了更方便、更安全的数据库操作方式。这个压缩包文件"commons_dbutils1.4_itmop.com_JDBC_开源工具类库.zip...
commons-dbutils.jar.rar
07-24
`commons-dbutils.jar.rar` 是一个包含Apache Commons DBUtils库的不同版本的压缩文件，主要用于Java应用程序中的数据库操作。DBUtils是一个实用程序库，它简化了JDBC（Java Database Connectivity）的使用，提供了...
PyPI 官网下载 | gmpyinfr_dbutils-0.0.7.tar.gz
01-12
《PyPI官网下载：探索gmpyinfr_dbutils-0.0.7.tar.gz中的Python库知识》 PyPI（Python Package Index）是Python开发者的重要资源库，它提供了无数的开源库，使得Python编程更加便捷高效。在本文中，我们将深入探讨...
mysql.rar_dbutils文档
09-20
MySQL是世界上最流行的关系型数据库管理系统之一，而dbutils则是Python编程语言中用于操作数据库的一个实用工具库。在“mysql.rar_dbutils文档”中，我们将会深入探讨如何配置MySQL数据源，以及如何利用dbutils进行...
【自学笔记】R语言简单动态网页爬虫——以b站视频信息为例
qq_41483767的博客
06-08 2603
1、网站信息及爬虫目标 以b站某up主的视频主页https://space.bilibili.com/2206456/video为例，要爬取该up主的所有视频标题、播放量及评论，主要采用的是动态网页中常用的httr包，现观察我们的网页情况如下： 可以看到，相关的信息可以由network里的“search?mid=......"这个接口得到，查看Preview可看到里面有相应的作者，评论，发布动态的描述、视频标题，观看数、分区等信息，我们以评论数、观看数和标题为例。现在看相应的Headers情况：
java 动态爬虫_用selenium（Java）爬取b站up的动态
weixin_33073525的博客
02-24 769
新人第一次发文，请多多指教。selenium设计目的是进行自动化测试，但是很显然这样的功能同样是爬虫所需要的。本文介绍如何用selenium爬取b站up动态。无意中发现有很多up在动态中发布一些奇怪的福利，精心挑选的二次元美图。作为一只老二刺螈，当然不能让美图从身边溜走-------爬虫走起。具体的网页首先分析网页结构：？？？？是up的uid。打开开发者工具，发现动态是这样排列的：一条条动态这些动...
IDEA JAVA使用BilibiliClient抓取哔哩哔哩用户动态等数据信息
冷朴承
02-13 1331
一直在想办法获取哔哩哔哩的相关对象，对媒体运营数据进行自动管理，于是写了一个BiliClient的JAR包，自己使用，也分享出来，希望可以帮助大家，目前该项目已经上传GITHUB和Maven中央仓库，可以直接使用依赖引入。 引入Maven依赖包 在IDEA中新建Maven项目，并在POM文件中加入如下依赖 <dependency> <groupId>cn.hll520.linling.client</groupId> .
Java 爬取BiliBili Up视频
小咸鱼
10-04 6871
爬视频找了好久都没有找到接口，后面百度半天不行，就在谷歌找到了这文章： Java 爬虫练习-bilibili视频下载 索引 写的非常详细，感兴趣 的可以去看看。 我就大概描述记录一下过程 准备 一、创建普通的maven工程 二、pom依赖 <dependency> <groupId>org.jsoup</groupId> <artifactId&gt...
简易的Java网络爬虫小案例（一）：下载b站导航栏背景图
YangChill的博客
05-31 847
Java面向对象入门的差不多啦？会不会觉得有点枯燥？那就来玩玩网络爬虫吧，走出舒适的编译器，面对来自互联网的丰富多彩吧！
b站爬虫大作业（大二）--（利用selenium模块爬取数据、利用pyecharts模块制作可视化图表）（bilibili数据可视化）
m0_74282695的博客
11-07 5124
要注意的是：在爬取的过程中，需要我们实时加载页面，因为页面如果不加载，数据就无法被系统检测到，会导致程序卡死，这个时候我们大概率只能重新来过，如果你看懂了代码，稍微修改一下就能够实现在对应的地方继续爬虫或者重复爬虫。
B站游戏排行榜（No.1竟是‘原神‘）—— B站动态页面爬取
热门推荐
❀雾里看花花里看雾❀
01-20 1万+
基于pycharm的动态页面爬取 需求：爬取b站游戏榜中热度榜的游戏名称、游戏描述、发行公司、游戏分类。 链接：https://game.bilibili.com/platform/ranks。 代码： import requests as req import json import csv import traceback import time class BilibiliSpider: """b站爬虫""" def __init__(self): self.u
爬虫入门(三)爬取b站搜索页视频分析（动态页面，DBUtils存储）
weixin_30299709的博客
05-27 1150
这一次终于到了分析b站视频了。开始体会到写博客非常占用学技术的时间，但是还是希望能总结，沉淀下来。 b站分析结果文章：https://www.bilibili.com/read/cv523868/ 工具：使用Webmaigc框架，DBUtils，C3P0连接池。 分析过程：b站的搜索页面是这样的。如果浏览器右键查看源代码，你会发现是动态页面，也就是从后台通过ajax等在某个路径加载获得数据 ...
基于java实现bilibili视频爬虫
毕业作品网站
05-16 3654
【实验项目名称】【实验目的】【实验环境（使用的软件）】
java.lang.NoClassDefFoundError:org.apache.commons.dbutils.QueryRunner
最新发布
07-26
`java.lang.NoClassDefFoundError: org.apache.commons.dbutils.QueryRunner` 错误通常发生在 Java 程序尝试引用 `QueryRunner` 类时，而该类实际上并未在运行时找到对应的定义。这可能是由于以下几个原因： 1. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值