一个简单的爬取b站up下所有视频的所有评论信息的爬虫

最新推荐文章于 2025-03-26 17:26:58 发布
最新推荐文章于 2025-03-26 17:26:58 发布
阅读量4.6k 收藏 11
点赞数 5
分类专栏： 工具 笔记 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pi31415926535x/article/details/104623639
版权
本文介绍了一款用于抓取B站指定UP主视频评论的爬虫项目，详细讲解了如何通过API获取视频列表及评论数据，并将其存储到数据库中。项目旨在学习爬虫技术和线程应用，避免商业滥用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

心血来潮搞了一个简单的爬虫，主要是想知道某个人的b站账号，但是你知道，b站在搜索一个用户时，如果这个用户没有投过稿，是搜不到的，，，这时就只能想方法搞到对方的mid，，就是 space.bilibili.com/9444976 后面的那一串数字。偶然看到这个人关注了某个主播，，想到可能这个人会回复主播的视频，于是想着爬到所有up下的视频的评论对应的用户，这样我就可以在数据库里检索昵称得到mid，，，嘿嘿嘿（然而失败了，，不是所有人都像我这么无聊，，，，有些人真的看视频不会回复，，

项目地址: https://github.com/31415926535x/CollegeProjectBackup/tree/master/BilibiliSpiders

这个爬虫的主要功能是爬取某个指定up主下的所有视频中的评论（不包括评论的回复，当然可以实现，但是感觉都差不多，就没考虑这块），最后将爬到的用户数据存到数据库里。整个项目只是抱着学习相关内容的心态来完成，不要做大批量的爬取网站(DDOS)及其敏感数据的事，也不要用作商业用途，，（虽然写的很丑，，，）

最低0.47元/天 解锁文章
Python实战项目2：b站评论采集
lyccomcn的博客
04-04 2584
本文不对数据采集的过程做探讨，直接上代码。
【爬虫】爬取B站UP的所有视频细节信息（通过UP名字）
YancyKahn
10-10 8573
爬取B站UP主的所有视频信息 1. 前言 使用python来爬取B站UP的视频信息，在此之前需要安装一下模块 pip3 install selenium pip3 install bs4 selenium是一个操作浏览器的Python库，需要安装相应的浏览器驱动。请自行安装。 本文实现了一个可以通过输入B站某个UP主的名字来进行爬取视频信息。 2. 爬取信息的数据结构 爬取的信息存储到JSON中，为以下组织方式： { 'name': XXX // 视频名称 'author': XXX //
【Python】使用Python根据BV号爬取对应B站视频下的所有评论（包括评论下的回复）
weixin_41429999的博客
04-27 5792
【Pyton】使用Python根据BV号爬取对应B站视频下的所有评论（包括评论下的回复） 本文写于2020-4-27，当你阅读到本文的时候如果因为下列原因导致本文代码无法正常工作，本人概不负责。 B站的页面和API接口的变动 B站为页面和API加入了反爬虫机制，或者对请求首部有了新的要求 Python版本的变动和标准库的调整 BeautifulSoup4的变动 使用到的库 【第三方库】：Be...
利用Request通过bv号爬取B站指定视频下所有评论（IP地址、大会员、等级、一二级评论等等)，附带源码和教程
最新发布
onedyer的博客
03-26 2225
用于爬取Bilibili（B站）视频评论的爬虫，支持爬取一级评论及二级回复，并将数据导出为CSV文件。通过输入视频的BV号，脚本会自动获取视频信息并抓取相关评论，包含用户基本信息、评论内容、IP属地、头像、会员、等级等字段。
python3网络爬虫--爬取b站视频评论用户信息（附源码）
懷淰メ的博客
11-18 1万+
最近马保国老师在b站挺火的，关于他的视频播放量很高，b站视频评论区都是人才说话好听，写个爬虫爬取一下b站评论区用户信息和评论内容。 一．准备工作 1．工具 （1）Chrome 谷歌浏览器 安装地址：https://www.google.cn/chrome/ （插件：json-handle 下载地址：http://jsonhandle.sinaapp.com/，json-handle安装方法： https://blog.csdn.net/xb12369/article/details/79002208 用于分
爬取b站任意视频下的所有评论【附完整代码】
热门推荐
榕城候佳人的博客
08-15 1万+
今天花了一上午探究如何用selenium获取b站视频下面的评论，一开始只是想用一个视频来练练手，后面逐渐改成了所有视频都适用的完整代码。因为我是用的jupyter，所以整个代码包括两个部分。下面这段代码用于完成获取自动登录b站所需的cookie。下面是第二段代码，具体讲解我会放在b站上。下面的代码大家可以直接运行，还可以更换视频地址。
B站评论采集
Deng872347348的博客
05-12 2562
B站评论采集。
爬虫实战 - 如何爬取B站视频评论？
Totoro1745的博客
11-21 7579
步骤 （本次爬虫仅以一个视频为示例：链接） 查找评论请求api 解析URL 去掉第一个和最后一个参数可得评论URL，即：https://api.bilibili.com/x/v2/reply?jsonp=jsonp&pn=1&type=1&oid=585286365&sort=2 【其中pn是页码；sort控制排序顺序，1按时间排序，2按热度排序；oid代码视频编号】 - 开始敲代码 import requests header = {"User-Agent": "M
python爬b站评论_一个简单的爬取b站up下所有视频的所有评论信息的爬虫
weixin_39602737的博客
12-05 4333
心血来潮搞了一个简单的爬虫，主要是想知道某个人的b站账号，但是你知道，b站在搜索一个用户时，如果这个用户没有投过稿，是搜不到的，，，这时就只能想方法搞到对方的mid，，就是 space.bilibili.com/9444976 后面的那一串数字。偶然看到这个人关注了某个主播，，想到可能这个人会回复主播的视频，于是想着爬到所有up下的视频的评论对应的用户，这样我就可以在数据库里检索昵称得到mid，，...
学生课程实验之爬取B站up视频中回复的信息的爬虫项目.zip
05-05
在这个名为“学生课程实验之爬取B站up视频中回复的信息的爬虫项目”的压缩包中，我们聚焦于一个IT领域的关键技能——网络爬虫，特别是针对B站（哔哩哔哩）视频评论数据的抓取。这个实验是为学生设计的，旨在提升他们...
python爬取b站所有视频_如何快速爬取B站全站视频信息
weixin_39901213的博客
12-08 2865
B 站我想大家都熟悉吧，其实 B 站的爬虫网上一搜一大堆。不过 纸上得来终觉浅，绝知此事要躬行，我码故我在。最终爬取到数据总量为 760万 条。准备工作首先打开 B 站，随便在首页找一个视频点击进去。常规操作，打开开发者工具。这次是目标是通过爬取 B 站提供的 api 来获取视频信息，不去解析网页，解析网页的速度太慢了而且容易被封 ip。勾选 JS 选项，F5 刷新找到了 api 的地址动手写码好...
爬取B站弹幕和评论
illusionAj1的博客
09-05 620
某站弹幕和评论
python爬取b站评论_b站评论爬取
weixin_39609620的博客
11-24 555
var userData = {};var startPage = 0;var endPage = 0;var startTime = "";var endTime = "";var pickSum = 0;var dateItem = new Date();function StartDraw(_startPage, _endPage, _startTime, _endTime, _pickSu...
（2024.9.18更新）新版从b站爬取评论的方式+代码
m0_73689378的博客
09-18 9598
新版b站爬取评论接口+代码，可直接使用
python爬虫爬取B站评论
weixin_51575130的博客
11-27 6294
打开开发者工具，下滑页面数据让数据加载出来，随便选择一条评论复制，粘贴到开发工具中的搜索框中，找到对应的包。爬取当前页面的评论信息，用户昵称，性别，前面，内容，发布时间，归属地等。在这里随便点开B站首页推送的一个视频内容。当前页面的评论信息在 replies中。这里使用requests方法。爬取结果保存为csv文件。2.发送请求，访问网址。4.持久化存储，保存在。
爬取b站的评论并进行可视化
2201_75548546的博客
09-27 6620
csv表格截图： 2D条形图以及3D条形图: 一个异步加载请求库：pip install selenium (下载对应版本可用selenium == )两个可视化库（任选其一即可）：pip install matplotlib（下载对应版本同以上方法）pip install pyecharts （下载对应版本同以上方法）由于b站api参数更改了，未能够找到合适的方式进行分页爬取，故采用以下两种方式打开开发者工具，找到图中红圈的位置打开后查看其中的json信息找到replies，如下图所示：每一则u
python爬虫|批量爬取某站视频评论数据
m0_61523149的博客
04-06 934
另外，还可以发现，往下拖动时评论慢慢加载出来，可知评论是动态加载的，我们用同样的方法获取第2条url，从而对比进行分析，此处目的是通过程序实现自动批量爬取。：最近一段时间ChatGPT成为热点，B站上也有许多相关视频，本文以此为例，对使用Python爬取B站视频评论做简要分享，以下是笔者的分析思路，欢迎探讨。需要说明的是以上链接只获取对视频的直接评论数据，而对于评论的评论是获取不到的，这些存储在另外的url中，可以通过类似方法获取得到。可以从上图看出，视频评论不是静态存储于源代码中的。
Python爬取B站视频全部评论
github_39611284的博客
09-06 9512
Python3爬取B站视频全部评论1.为什么有这篇文章2.相关代码 1.为什么有这篇文章 最近受朋友委托需要爬取B站视频下的评论作为他的分析数据，我上网查了很多相关教程和文章都没有爬取全部的评论，不能满足朋友的需求，只好自己动手，在此分享一下实现代码供大家学习交流。 2.相关代码 通过输入B站视频Bvid号，可以将视频下的评论全部保存到csv文件中。（说明一下：输出显示 总评论数 > 当前评论数，这并不是BUG，而是总评论数包含评论和回复，这里只是爬取了评论。） ```python3 import
python爬取B站弹幕评论
weixin_51891232的博客
10-20 2235
python爬取B站弹幕评论
爬取B站UP主的所有公开视频链接及信息
07-10
您可以使用Python编程语言来实现爬取B站UP主的所有公开视频链接及信息的功能。以下是一个示例代码： ```python import requests import json # 设置UP主的UID up_uid = '12345678' # 构建请求URL url = f'https://api.bilibili.com/x/space/arc/search?mid={up_uid}' # 发送请求并获取响应 response = requests.get(url) data = response.json() # 解析响应数据，获取视频链接及信息 video_list = data['data']['list']['vlist'] for video in video_list: # 获取视频链接 video_url = f'https://www.bilibili.com/video/{video["bvid"]}' # 获取视频标题 video_title = video['title'] # 获取视频播放量 video_play = video['play'] # 打印视频链接及信息 print('视频链接:', video_url) print('视频标题:', video_title) print('播放量:', video_play) print('----------------------') ``` 请注意，上述代码中的`up_uid`需要替换为您要爬取的UP主的UID。您可以在B站UP主主页的URL中找到该UID。 此代码将向B站的API发送请求，并解析响应数据以获取视频链接、标题和播放量等信息，并将其打印出来。您可以根据实际需求对代码进行修改，例如将信息保存到文件中或进行其他处理。但请注意遵守B站的相关规定和爬虫道德准则。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值