哔哩哔哩评论区爬虫demo

最新推荐文章于 2024-06-20 21:17:30 发布
最新推荐文章于 2024-06-20 21:17:30 发布
阅读量910 收藏 3
点赞数
分类专栏： python 文章标签： python 爬虫 pandas json csv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xzq1207105685/article/details/113578165
版权
本文提供了一种方法，通过下载csv文件获取特定up主的视频信息和评论数据，包括视频标题、评论内容等，适合研究和数据分析。通过爬取示例，您可以了解如何利用mid参数抓取95256449和400468157两位up主的数据，以进行深入的社区分析。
摘要由CSDN通过智能技术生成

目录

爬取内容

B站up主的视频信息以及所有视频评论区的评论数据

demo链接

https://download.csdn.net/download/xzq1207105685/14994211

文件说明

videos_95256449.csv：id为95256449的up主的所有视频信息
replies_95256449.csv：id为95256449的up主的所有视频评论区的评论数据
videos_400468157.csv：id为400468157的up主的所有视频信息
replies_400468157.csv：id为400468157的up主的所有视频评论区的评论数据

ps：id为400468157的up主数据量较少，用于测试程序

字段说明

videos：

  • title：视频标题
  • bvid：视频唯一标识
  • oid：评论区id
  • created：视频创建时间，unix时间
  • mid：up主的用户id
  • author：up主的昵称
  • description：视频介绍

replies：

  • ctime：评论时间，unix时间
  • rpid：评论的唯一标识
  • mid：发表评论的用户id
  • oid：评论所属的评论区
  • parent：评论所属的父级评论
  • uname：发表评论的用户昵称
  • content：评论内容

使用说明

调用crawl_videos_and_replies(mid)函数启动爬虫程序，mid为目标up主的b站用户id。视频信息结果保存在videos_mid.csv文件内评论数据保存在replies_mid.csv文件内

虹幺
关注
专栏目录
获取哔哩哔哩的视频评论
qq_41672008的博客
12-17 988
获取哔哩哔哩的视频评论 使用工具：ibili 下载方式： npm i ibili 话不多说，现在我要获取 周杰伦告白气球MV 的视频评论，地址如下： https://www.bilibili.com/video/av15227278?from=search&seid=7509419184498080735 以下是爬取代码： const ibili = require("...
爬虫实战 - 如何爬取B站视频评论？
Totoro1745的博客
11-21 7271
步骤 （本次爬虫仅以一个视频为示例：链接） 查找评论请求api 解析URL 去掉第一个和最后一个参数可得评论URL，即：https://api.bilibili.com/x/v2/reply?jsonp=jsonp&pn=1&type=1&oid=585286365&sort=2 【其中pn是页码；sort控制排序顺序，1按时间排序，2按热度排序；oid代码视频编号】 - 开始敲代码 import requests header = {"User-Agent": "M
scrapy-redis 分布式哔哩哔哩网站用户爬虫
weixin_30505043的博客
05-19 139
scrapy里面，对每次请求的url都有一个指纹，这个指纹就是判断url是否被请求过的。默认是开启指纹即一个URL请求一次。如果我们使用分布式在多台机上面爬取数据，为了让爬虫的数据不重复，我们也需要一个指纹。但是scrapy默认的指纹是保持到本地的。所有我们可以使用redis来保持指纹，并且用redis里面的set集合来判断是否重复。 setting.py # -*- coding: ut...
最新的B站弹幕和评论爬虫，你们要的冰冰来啦！
AI科技大本营
09-27 4182
作者 |周萝卜 来源 |萝卜大杂烩 最近想爬下B站的弹幕和评论，发现网上找到的教程基本都失效了，毕竟爬虫和反爬是属于魔高一尺、道高一丈的双方，程序员小哥哥们在网络的两端斗智斗勇，也是精彩纷呈。 当然了，对于爬虫这一方，爬取网站数据，一般目的都是比较明确的，比如我这里就是为了冰冰，废话不多说，开干！ 获取弹幕数据 这里先声明一点，虽然网络上的整体教程都失效了，但是有一些步骤还是可以参考的，比如我们可以知道，对于弹幕数据，我们是可以通过如下的一个接口来获取的 https://comme..
哔哩哔哩视频信息爬虫（实时爬取）
weixin_44245778的博客
12-19 4262
结合哔哩哔哩小助手程序 爬取思路： 自定义模块构建及框架设计： 文件目录： __init__.py: #__init__ """ 浏览json数据 videoinfo = [ data['aid'], # av号 data['view'], # 播放...
Enc2Dec:分享自写或收集的各站爬虫加密解密Demo：哔哩哔哩、网易云音乐、重庆移动、中国移动
05-04
分享自写或收集的各站爬虫加密解密，没有实战代码，只是拆分出来的Demo，方便使用。 INFO DESCRIBE Author Lkeme Email Website Group Demo Donate Thank you very much for your support of my project. 陆续施工中...
jsoup+htmlunit 爬虫破解验证码，附完整demo
chenyi0765的博客
04-04 715
前言： 最近是真的有点闲，随手记录一下小白的成长之路。话不多说，下面上干货。主要的方向还是java，正在学习python，所以我现在只介绍java的爬虫实现，后续再更新。。。如果下面所描述的东西有了解的，请直接跳到最后的git地址，自己修改下数据库链接参数，数据库sql附在项目...
基于SpringBoot的哔哩哔哩动态爬取网站
qq_21347209的博客
12-27 1824
原理：通过b站的动态api获取动态的json，从json中获取动态的作者与图片信息，并持久化到数据库。 b站的动态链接格式为https://t.bilibili.com/xxx其中xxx为动态的id，通过b站的api接口：https://api.vc.bilibili.com/dynamic_svr/v1/dynamic_svr/get_dynamic_detail?dynamic_id=xxx 即可获取到此动态的json数据。 关键功能实现： 首先通过工具类从用户提交的完整网址中提取动态id .
网络爬虫入门
qq_43590003的博客
05-05 1543
网络爬虫入门学习（笔记） 2019.5.3 网络爬虫 学习笔记 request.get(url,params=None,**kwargs) response对象 # status_code:状态码 200 表示成功 # text: 返回字符串内容 # encoding:内容编码方式 # apparent_encoding:备选编码方式 encoding:header中没有charset，则...
Python Web 爬虫中Selenium插件使用教程
CodeAsWind
12-18 3541
Selenium主要用于Web应用中的自动化测试，是一种比较常用的自动化测试工具； Selenium直接运行在浏览器之中，模拟用户对浏览器的相应操作。可以支持像IE， Firefox、safari，Opera或者Chrome等相关浏览器； 在WEB爬虫应用中，我们主要通过Selenium来模拟用户对网页的访问，进而实现用户信息获取。 我们以Chrome为例子： 1：Selenium安...
B站视频评论的爬虫与数据分析
最新发布
2201_75470660的博客
06-20 1674
1.通过爬虫将数据存储下来2.生成词云图非常直观的输出评论高频字眼3.生成柱状图和饼状图来分析B站视频评论3基本功能描述3.1基本功能实现了使用Selenium库进行B站视频评论的爬取，并将评论数据保存到CSV文件中。然后使用Pandas和其他相关库对评论数据进行了基本的数据分析和可视化。具体功能描述如下：1.使用Selenium库进行模拟浏览器操作，加载指定B站视频页面。2.使用XPath表达式提取页面中的评论内容和评论时间。3.将提取的评论内容和评论时间写入CSV文件中。
简单爬虫入门爬取哔哩哔哩排行榜
weixin_45393946的博客
04-29 1075
需要用到： requests库 re库 主要步骤： 获取排行榜页面 → 分析html文件写出所需内容的正则表达式 → 匹配出所需内容 → 保存 代码如下（导出的是text文档所以有些空格是为了稍微好看一些） import json import requests from requests import RequestException import re #获取网页 def get_...
哔哩哔哩爬取
我姓罗
12-20 2901
Python爬虫B站首页推荐视频的视频信息，弹幕以及该视频的up主信息 BiliBili视频信息以及弹幕爬取 主要分为四个部分： 1.获取视频的基本信息 2.获取该视频的up主信息 3.获取弹幕信息 4.写入文件 1.获取视频的基本信息 打开B站首页的源代码，找到相关内容。这里我获取的是圈红的那个部分的视频 找视频的标题和超链接的内容，超链接里面的末尾数字就是视频的id号 1. 上代码 ，找到目标...
哔哩哔哩弹幕爬虫脚本
weixin_38185649的博客
11-14 998
import os import requests from bs4 import BeautifulSoup from pyquery import PyQuery import re import shutil headers = { "Cookie": "CURRENT_FNVAL=16; stardustvideo=1; _uuid=3C5905C8-410F-D211-2688...
B站评论采集
Deng872347348的博客
05-12 2272
B站评论采集。
python爬虫爬取B站评论
weixin_51575130的博客
11-27 4595
打开开发者工具，下滑页面数据让数据加载出来，随便选择一条评论复制，粘贴到开发工具中的搜索框中，找到对应的包。爬取当前页面的评论信息，用户昵称，性别，前面，内容，发布时间，归属地等。在这里随便点开B站首页推送的一个视频内容。当前页面的评论信息在 replies中。这里使用requests方法。爬取结果保存为csv文件。2.发送请求，访问网址。4.持久化存储，保存在。
哔哩哔哩小视频全栈爬取分析
weixin_30682415的博客
03-26 335
一 要求 全栈爬取哔哩哔哩小视频. url=http://vc.bilibili.com/p/eden/rank#/?tab=%E5%85%A8%E9%83%A8 二 分析 　　首页分析 查看请求数据 代码 import requests import jsonpath headers={ 'Orig...
爬取B站评论区
fwkgeass的博客
02-24 1847
# 开发时间：2022/2/22 10:38 import requests import json import os table = 'fZodR9XQDSUm21yCkr6zBqiveYah8bt4xsWpHnJE7jL5VG3guMTKNPAwcF' tr = {} for i in range(58): tr[table[i]] = i s = [11, 10, 3, 8, 4, 6] xor = 177451812 add = 8728348608 samename = {} sam.
b站直接用BV号爬虫抓取评论
qq_44861455的博客
04-20 3750
b站的评论由js加载，所以我们有两种方法获取， 第一种用selenium，拖拽导航条，刷新出评论再抓取（效率低且代码量大） 第二种直接找到js接口去获取数据 先说下我一开始的思路 我刚开始不确定是xhr还是js，所以现在xhr中找，发现并没有，于是搜索了js，发现在这个接口里 page代表页数和评论数量，replies是所有评论的内容 于是我们开始分析这个接口的参数 刚开始我以为callbac...
哔哩哔哩视频下载爬虫
07-29
你可以使用 Python 的第三方库进行哔哩哔哩视频下载爬虫的开发。一个常用的库是 `you-get`，它可以帮助你从哔哩哔哩上下载视频。 你可以按照以下步骤进行操作： 1. 首先，确保你已经安装了 Python。你可以在命令行...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

虹幺

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值