B站评论爬虫

最新推荐文章于 2024-06-26 09:51:11 发布
最新推荐文章于 2024-06-26 09:51:11 发布
阅读量3.6k 收藏 23
点赞数 4
分类专栏： 评论爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ArsenalAss/article/details/104440917
版权
本文介绍了一个简单的B站评论爬虫，适用于初学者。通过参考B站UP主的视频，作者修改并实现了一个爬虫，仅抓取每个ID的唯一评论，包括楼中楼评论。使用Python进行开发，通过观察网络请求分析评论页面URL规律，从而获取评论数据。
摘要由CSDN通过智能技术生成

是一个很简易的爬虫，我自己作业用一下下，参考的是B站一位叫大野喵渣的up的视频，点我看
在这个基础上根据我自己的水平和需要稍作修改，希望能给向我一样不知爬虫为何物但是确实需要用的24k纯小白一些帮助。
这里只爬评论，目的是要那种排列好一行一行的评论，包括楼中楼评论，但是每个id只爬取一条。

首先打开python，用这三个包

import requests
import json
import pprint

在打开我们要爬的视频，右键检查，点network，不用点刷新，直接点评论最后一页，在查找框里随便输入此页的一个评论，点开它得到URL，
在这里插入图片描述
另起一页打开，发现是肥肠抱歉，把网址里&前的一长串数字包括&删掉，
在这里插入图片描述
就看到一大坨代码中间夹杂着评论和用户信息一类的东西，复制这个网址。
在这里插入图片描述
上图pn=80就是我爬的视频的最后一页是第80页。

<
最低0.47元/天 解锁文章
巫叠玛溪
关注
专栏目录
Python网络爬虫：b站评论
lyccomcn的博客
04-04 1306
本文不对数据采集的过程做探讨，直接上代码。
python-爬虫实例（1）：获取京东商品评论
最新发布
纸上得来终觉浅
07-20 2400
道路千万条，安全第一条 。 爬虫不谨慎，亲人两行泪
Python爬虫实战：利用代理IP批量下载哔哩哔哩美女视频
热门推荐
努力让自己发光，对的人才能迎着光而来
06-26 13万+
Python爬虫实战：利用代理IP批量下载哔哩哔哩美女视频
python爬虫爬取B站评论
weixin_51575130的博客
11-27 4565
打开开发者工具，下滑页面数据让数据加载出来，随便选择一条评论复制，粘贴到开发工具中的搜索框中，找到对应的包。爬取当前页面的评论信息，用户昵称，性别，前面，内容，发布时间，归属地等。在这里随便点开B站首页推送的一个视频内容。当前页面的评论信息在 replies中。这里使用requests方法。爬取结果保存为csv文件。2.发送请求，访问网址。4.持久化存储，保存在。
B站视频评论的爬虫与数据分析
2201_75470660的博客
06-20 1661
1.通过爬虫将数据存储下来2.生成词云图非常直观的输出评论高频字眼3.生成柱状图和饼状图来分析B站视频评论3基本功能描述3.1基本功能实现了使用Selenium库进行B站视频评论的爬取，并将评论数据保存到CSV文件中。然后使用Pandas和其他相关库对评论数据进行了基本的数据分析和可视化。具体功能描述如下：1.使用Selenium库进行模拟浏览器操作，加载指定B站视频页面。2.使用XPath表达式提取页面中的评论内容和评论时间。3.将提取的评论内容和评论时间写入CSV文件中。
python爬取b站评论_b站评论爬取
weixin_39609620的博客
11-24 456
var userData = {};var startPage = 0;var endPage = 0;var startTime = "";var endTime = "";var pickSum = 0;var dateItem = new Date();function StartDraw(_startPage, _endPage, _startTime, _endTime, _pickSu...
【2024年最新】Bilibili/B站视频/动态评论爬虫
weixin_51869009的博客
06-12 4667
bilibili爬虫
b站直接用BV号爬虫抓取评论
qq_44861455的博客
04-20 3745
b站的评论由js加载，所以我们有两种方法获取， 第一种用selenium，拖拽导航条，刷新出评论再抓取（效率低且代码量大） 第二种直接找到js接口去获取数据 先说下我一开始的思路 我刚开始不确定是xhr还是js，所以现在xhr中找，发现并没有，于是搜索了js，发现在这个接口里 page代表页数和评论数量，replies是所有评论的内容 于是我们开始分析这个接口的参数 刚开始我以为callbac...
B站评论爬虫--爬取游戏主页评论
数据小红的博客
04-08 2251
由于公司需要监控到不同时间段用户观点的变化，需要爬取各个平台下我们用户的评论，因此，B站评论爬取的需求诞生啦！！~~看了网上的其他教程，都没有我这个类型的（大多数是普通的up上传的视频），我这个呢，是官方游戏主页（也许可以这么叫吧，我也不知道，反正就是从地址上看就不大一样，是http://www.biligame.com开头的） 那么这种特别一点的评论要怎么爬取呢？接下来我们一起来解决吧~ 查找评...
基于python的B站评论爬虫及抽奖项目！确实方便好用！
爬遍所有网站
08-22 791
前言 随着新型娱乐产业的快速发展，众多人为了为自己的视频吸引观众，通常会用华美的奖品吸引观众，但是观众通常因为对up主的不信任导致参与活动不够活跃，而且考虑到有时up主可能用各种技巧耍诈的情况发生，所以信任关系并不是那么的深刻。但是机器是不会骗人的！于是今天的项目应运而生，这是一个由python爬虫编写的抽奖系统。 这里用的是python语言 一、先设计对这个爬虫建立软件工程模型 本程序有三个步骤，我们使用的是无头爬虫，比较适合新手入门。将想要爬取的数据写入到xls文件中，所以本爬虫有三大步。第一：
B站视频python爬虫下载
03-29
B站视频python爬虫下载，注意修改video_bvid，通过视频链接可以查看。B站视频python爬虫下载，注意修改video_bvid，通过视频链接可以查看。B站视频python爬虫下载，注意修改video_bvid，通过视频链接可以查看。B站...
springboot的b站评论区爬虫.zip
01-19
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的...
爬虫学习笔记--爬B站评论
Qin_xian_shen的博客
10-12 4018
由于松爱协会的小伙伴邀请，我研究了一下爬取b站上协会的一些精彩评论 由于评论是动态的，所以要用到 selenium 之前的博文里已经有关于selenium的安装注意事项 还要用到Firefox的firebug  去获取xpath信息  target = app.find_element_by_xpath(".//*[@id='recommend_report']/di
B站評論爬蟲教程
m0_55847174的博客
09-01 356
B站評論爬蟲教程(直接套代碼，不多加解釋) 1. 取得評論區存儲區 html 核心資訊 1.1 打開所需的bilibili網站 1.2 按F12 1.3 按Ctrl+R或F5 1.4 把主頁面拖動到評論區任一處 1.5 選擇JS 1.6 找到任一個 “main?callback” 文件 1.7 雙擊任一個 “main?callback” 文件，瀏覽 “Header” 資訊，找到並複製 “Request URL” 1.8 取出 “type” 和 “oid” 資訊" 以上圖為例，Request UR
最新的B站弹幕和评论爬虫，你们要的冰冰来啦！
AI科技大本营
09-27 4104
作者 |周萝卜 来源 |萝卜大杂烩 最近想爬下B站的弹幕和评论，发现网上找到的教程基本都失效了，毕竟爬虫和反爬是属于魔高一尺、道高一丈的双方，程序员小哥哥们在网络的两端斗智斗勇，也是精彩纷呈。 当然了，对于爬虫这一方，爬取网站数据，一般目的都是比较明确的，比如我这里就是为了冰冰，废话不多说，开干！ 获取弹幕数据 这里先声明一点，虽然网络上的整体教程都失效了，但是有一些步骤还是可以参考的，比如我们可以知道，对于弹幕数据，我们是可以通过如下的一个接口来获取的 https://comme..
python爬虫：Ajax异步爬取数据（b站评论区）
qq_46145027的博客
04-07 3736
爬虫时遇到很多数据并不在访问网址的返回包里，而是随着用户下拉逐步加载的，也就是用到了Ajax，那么这时我们该如何爬取我们想要的数据呢？
B站弹幕和评论爬虫
weixin_45014634的博客
04-10 797
通过观察可以得知，响应消息里的 replies 就是主评论内容，同时我们还可以改变 url当中的 next 参数来翻页，进而请求不同的数据这里我们再关注下 rpid 参数，这个会用于 reply 评论中再来看看 reply 评论，同样可以使用 requests 直接访问，同时 url 当中的 root 参数就是我们上面提到的 rpid 参数。数据还是非常干净的，那么下一步就是看如何获取这个 xml 的 url 地址了，也就是如何获取 324768988 ID接下来我们搜索整个网页的源码，可以发现如下情况。
【2023最新B站评论爬虫】用python爬取上千条哔哩哔哩评论
马哥的专栏
09-12 1万+
马哥原创：用python爬取哔哩哔哩的B站评论数据，单个视频可爬上万条。
b站评论爬虫python
09-28
引用:这里我就部多说了，以前的文章里面有讲过：python 爬虫爬取疫情数据，爬虫思路和技术你全都有哈（一）_源源佩奇的博客-CSDN博客 。 引用:请求主评论的内容 import requests import jieba import time import csv from pyecharts.charts import WordCloud # 得到csv这个对象，一遍下面的存储使用 cfile = open('bilibili评论数据.csv','w ',encoding='utf8') csv_file = csv.writer(cfile) url = 'https://api.bilibili.com/x/v2/reply/main?jsonp=jsonp&next=0&type=1&oid=48487753&mode=3&plat=1&_=1667131834151' resp = requests.get(url).json() # 声明一个变量进行计数，我只需要获得200条数据就可以了 count = 0 # 数据清洗得到主评论 for i in resp['data']['replies']: # 获取评论id和页数，用作自评的请求参数 rpid = i['rpid'] rcount = i['rcount'] # 获得评论内容 content = i['content']['message'] csv_file.writerow([content]) print(rpid,content) 。 引用:不管是什么样的爬虫项目，第一步要做的就是分析网页结构，以及数据来源，和数据结构。只有当你了解后，你才能知道你的代码具体该怎么去写。 b站评论爬虫可以使用Python来实现。首先，你需要分析要爬取的网页结构，并确定数据来源和数据结构。然后，你可以使用Python的requests库发送GET请求获取网页内容，并使用json解析获取到的数据。接下来，你可以通过分析数据的结构，提取你所需要的评论内容，并存储到一个文件中，例如CSV文件。你可以使用Python的csv库来实现文件的写入。最后，你可以根据需要对数据进行清洗和处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值