教大家通过node爬取b站api数据

最新推荐文章于 2025-03-03 15:32:04 发布
最新推荐文章于 2025-03-03 15:32:04 发布
阅读量1w 收藏 17
点赞数 6
文章标签： 爬虫 b站 node.js http
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/junhaogz215/article/details/79234248
版权
本文介绍如何使用Node.js抓取B站API数据，以实现跨域获取番剧类目中的番剧索引信息。首先通过浏览器开发者工具定位所需API，然后在Node.js中利用https模块模拟GET请求，获取包括番剧名、图片链接、URL和更新时间在内的数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

      最近我打算做一个仿b站页面的项目，打算直接从b站api取数据，然后用ajax请求了一下url发现这个api果然是不支持跨域的,所以我打算通过node.js抓取b站数据搭建服务器来完成这个项目并顺便写了这篇博客。


      下面我将会把自己爬取api的步骤分享给大家，刚开始写博客，思路略有些混乱请大家见谅，博客中若有错误还请严厉指出。


      今天我爬取的页面是b站番剧类目中番剧索引页面中的数据（我是b站粉ヽ(ー_ー)ノ）。



      1、打开番剧索引页面并按F12打开控制台，刷新一下页面，然后到控制台的network中页面将filter设置为XHR

最低0.47元/天 解锁文章
_冰点
关注
一键爬取B站综合热门榜，Python和Node.js 双实现！
代码简单说 Vue、JAVA、PHP、Node.js 熟练运用，接口、架构、性能全搞定。
01-06 65
前几天刷 B 站的时候，突然想看最近都有哪些热门视频。但问题来了，我不想一个个翻页面，于是决定写个简单的爬虫直接获取 B 站的综合热门榜单，用代码把事情自动化！发起 HTTP 请求，获取 B 站的热门榜单数据。来发起 HTTP 请求，同样可以轻松获取榜单。tag:Python #Node.js #B站热门榜。如果你更喜欢用 Node.js，那么可以用。Python 的实现很简单，主要是用。
Day16—API爬取与数据整合
Ztop的博客
06-09 217
API爬取是一种高效获取数据的方式，它提供了结构化的数据和较快的响应速度。通过整合和分析不同来源的API数据，可以得出更有价值的结论。然而，在使用API时，必须遵守API的使用规范和法律法规，确保数据爬取和使用的合法性。
Python爬取API数据库的相关方法和技巧
An4480的博客
12-25 1044
本文介绍了Python爬取API数据库的方法和技巧，包括发送HTTP请求获取数据、处理JSON数据、数据持久化和错误处理。通过合理的使用这些方法和技巧，可以更高效地爬取和处理API数据库中的数据。
3行！仅3行代码就能抓取B站数据
华为云官方博客
08-04 3558
今天介绍一个获取B站数据的Python扩展库-bilibili_api。
B站弹幕爬取教程：Python爬虫技术助你轻松获取弹幕数据
m0_68604571的博客
03-03 1115
在日常观看B站视频时，我们经常会看到视频下方的弹幕。弹幕不仅仅是观众的互动，它还蕴含着大量的信息，通过分析弹幕内容，我们可以挖掘出视频的情感趋势、用户的情感态度等有价值的数据。今天，我们将带着大家一起爬取B站的视频弹幕，并对弹幕进行情感分析和关键词提取。通过爬取 B 站的视频弹幕，并结合情感分析与关键词提取，我们能够获取到有价值的观众情绪数据，并进行更深入的分析。在此基础上，您可以探索更多的应用场景，比如实时监控视频情感变化，分析特定时段的情感趋势等。
nodejs 爬取b站番剧数据, 计算最佳追番推荐
阿豪
03-08 491
原文链接: nodejs 爬取b站番剧数据, 计算最佳追番推荐 ...
哔哩哔哩 API
z814561527的专栏
04-03 6121
常用查看技巧： UP主所有视频：https://www.bilibili.com/medialist/play/这里写uid?from=space 最新投稿的视频：https://www.bilibili.com/newlist.html API 参数信息获取： UP主的播放数、喜欢、阅读量：https://api.bilibili.com/x/space/upstat?mid=uid号&jsonp=jsonp UP主的基本信息：https://api.bilibili.com/x/sp
一种方便快捷的B站爬虫方法
qq_35237976的博客
11-20 2251
最近需要用到B站上的一些数据，例如弹幕和评论，无意间发现B站大佬在github开源了一个B站API调用库，使用文档详细，有人更新维护。 GitHub 地址为：https://github.com/Passkou/bilibili_api 目前已经更新到了v3.1.2版本。 通过这个 API 调用模块，我们可以实现获取视频的评论、弹幕、播放量等信息，还可以实现投币、点赞、发送弹幕等一系列的用户功能，非常方便。 在使用这个 API 之前，我们需要安装该库 pip install bilibili_a
区分静态数据和动态数据，实现B站数据采集
11-08
另外一个选择是Puppeteer，这是Google开发的一个Node库，它提供了一个高级API来通过DevTools协议控制Chrome或Chromium。由于Puppeteer支持Promise，所以非常适合处理异步流程。 在实现B站数据采集的过程中，我们会...
websect爬取小米官网数据
qq_41672008的博客
11-24 1383
websect 首先下载websect npm I websect 还是老规矩，爬取小米官网的数据QAQ，不过这一个不一样，要爬取的是这个： 现在使用 websect 进行数据的爬取： const $ = require("websect") $.get("https://www.mi.com").then(data=>{ var old = Date.now()...
B站教学资源爬虫
panyuteng的博客
08-10 1811
B站教学资源爬虫 最近遇到了点麻烦事，各种学习网站的不维护或者转移路线，于是将目标站点定位到了b站的学习资源 所用语言和相关模块 python3.6 requests` PIL 目前网站特点分析 b站是一个具有大量资源数据的网站，但是如何将目标网站中资源按照目前我们公司的学习资源库进行抓取并进行数据清洗，这将是一件非常磨人的事情。 前期的准备工作 我们库中的分类主要有学校、专业、老师等字段，于是，需要准备一下内容： 1、学校分类库，用于进行学校的搜索及资源名称的清洗 2、专业分类库 3、老师分类库
bilibili_api:基于Python对B站UP发布的动态进行推送的小程序
04-20
Bilibili API 基于B站UP发布的动态进行推送的小程序 TODO bark push
如何使用API爬取数据，它和网页爬虫有什么区别？
热门推荐
妮可H的博客
04-14 1万+
目录背景API简介库API数据API简单的API爬虫实例Facebook Graph API 介绍文档代码示例 背景 很多互联网公司往往都有着存储自己用户信息的数据库，数据库里的数据也基本被工程部门解析得很干净了(爬虫技术的使用或底层数据解析主要是开发部门或者数据采集工程部的工作)，所以许多业务类的数据分析师们仅使用HSQL等工具就能较轻松地获得所需的海量数据。 但市面上还有一些中小型B2B公司，...
scala+jsoup爬取B站动态数据
weixin_45075077的博客
09-05 1955
Scala+Jsoup爬取B站动态数据 示例仅作为记录练习，不存在恶意爬取网页，如涉及违法，立删。 代码过于简单不贴了。 使用scala+jsoup爬取B站数据，由于大部分数据属于动态数据，直接访问主页是获取不到有用数据 比如要爬取“生活区-搞笑类”的视频列表 上面对应的URL是https://www.bilibili.com/v/life/funny/?spm_id_from=333.33...
nodejs 实现 操作数据库 远程调用api 监听端口
fyj的博客
04-06 2671
var http = require('http'); var url = require('url'); var util = require('util'); var querystring=require('querystring'); var mysql = require('mysql'); //http://127.0.0.1:8989/type?type=3 请求方式 //h
python3网络爬虫--爬取b站用户投稿视频信息（附源码）
懷淰メ的博客
11-24 6776
上次写了篇 python3网络爬虫–爬取b站视频评论用户信息（附源码） 效果良好，因此再写一篇爬取用户投稿视频的爬虫，思路简单一些。不过本次将数据存储到了MySQL数据库。 本次要实现：手动输入用户id，程序根据这个id爬取此用户的所有投稿视频，最终将数据存储到MySQL数据库中，并且数据存储到以用户名为数据表名的数据表中。 一．准备工作 1．工具 （1）chrome浏览器 下载地址：https://www.google.cn/chrome/，用于分析网结构。 jsonhandle 用于分析json格式化数
爬取b站排行视频
weixin_40444270的博客
08-21 7872
      这个b站之前一直想爬，看了几篇关于这个的博客，发现好难，今天耐不住就找了比较新的一篇博客讲述爬取b站视频。本来以为还要破解js加密获取加密参数，发现并没有这么复杂，视频下载的连接都在网页里保存，ε=(´ο｀*)))唉。话不多说开始搞起。         所需环境：pycharm+python3.6+requests+re+pyquery+fiddler (re是提取网页里面下载的连...
爬取B站热门视频
Dead___Lock的博客
12-26 925
获取B站热门搜索，因为不需要登陆验证，所以说一路走来还是很轻松的，用了半天的时间就完成了，后来我仔细分析才发现，B站的数据全部采用json数据，这么一来事情就变的简单多了，经过优化，完成了以下的内容。 <?php //第一步 获取网页页面信息 //第二步 构建相应数据库 //第三步 设计相应的正则，爬取内容 $url = "https://www.bilibili.com/rank...
结合本站内容给我制作一个B站弹幕爬取工具
最新发布
03-25
<< 要创建一个用于从Bilibili（B站）爬取弹幕的工具，我们需要使用到几个关键点：获取视频CID、请求API数据以及解析返回的数据。 ### 步骤一: 获取视频信息与CID 每个视频都有唯一的AV号或BV号，并且对应着至少一个CID。CID是用来区分同一视频的不同分区（例如P1,P2等）。我们首先需要根据视频链接提取出对应的CID。 ```python import requests def get_cid(bv_number): api_url = f"https://api.bilibili.com/x/player/pagelist?bvid={bv_number}&jsonp=jsonp" response = requests.get(api_url) if response.status_code == 200: data = response.json() cid_list = [] for item in data['data']: cid_info = { 'cid':item['cid'], 'name':item['part'] } cid_list.append(cid_info) return cid_list ``` ### 步骤二: 请求弹幕XML文件并解析为字符串列表 接下来就是利用CID去调用弹幕接口拿到原始xml文档再将其转换成易于处理的形式如list(dict)等等... 这里需要注意的是由于新版本可能存在防护机制所以可能直接访问会失败这个时候就需要带上header伪装浏览器行为或者通过更复杂的手段绕过验证(不过这属于灰色地带并不提倡) ```python from xml.dom.minidom import parseString def fetch_danmaku_by_cid(cid, date=None): headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64)"} # 如果设置了日期参数则按照历史记录模式进行查询否则就抓取当前最新评论 if not date : url=f'https://comment.bilibili.com/{str(cid)}.xml' else : url='https://api.bilibili.com/x/v2/dm/history?type=1&oid='+ str(cid)+ '&date='+date resp=requests.get(url=url ,headers=headers ) dom_tree =parseString(resp.content.decode('utf-8')) danmakus=[] items=dom_tree.getElementsByTagName("d") for i in range(len(items)): node_data=str(items[i].childNodes[0].data).strip() # 弹幕文本内容 time_attr=float(str(items[i].getAttribute('p')).split(',')[0])#出现时间戳 one_dm={'text':node_data,'time':time_attr} danmakus.append(one_dm) return sorted(danmakus,key=lambda k:k["time"]) ``` ### 解释: - **get_cid**: 根据传入的BV号码获取该视频所有的分集及其相应的CID. - **fetch_danmaku_by_cid** : 按照指定的CID拉取相关的所有弹幕数据并且排序输出.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值