B站评论爬虫

本文介绍了一个简单的B站评论爬虫,适用于初学者。通过参考B站UP主的视频,作者修改并实现了一个爬虫,仅抓取每个ID的唯一评论,包括楼中楼评论。使用Python进行开发,通过观察网络请求分析评论页面URL规律,从而获取评论数据。
摘要由CSDN通过智能技术生成

是一个很简易的爬虫,我自己作业用一下下,参考的是B站一位叫大野喵渣的up的视频,点我看
在这个基础上根据我自己的水平和需要稍作修改,希望能给向我一样不知爬虫为何物但是确实需要用的24k纯小白一些帮助。
这里只爬评论,目的是要那种排列好一行一行的评论,包括楼中楼评论,但是每个id只爬取一条。

首先打开python,用这三个包

import requests
import json
import pprint

在打开我们要爬的视频,右键检查,点network,不用点刷新,直接点评论最后一页,在查找框里随便输入此页的一个评论,点开它得到URL,
在这里插入图片描述
另起一页打开,发现是肥肠抱歉,把网址里&前的一长串数字包括&删掉,
在这里插入图片描述
就看到一大坨代码中间夹杂着评论和用户信息一类的东西,复制这个网址。
在这里插入图片描述
上图pn=80就是我爬的视频的最后一页是第80页。

<
引用:这里我就部多说了,以前的文章里面有讲过:python 爬虫爬取疫情数据,爬虫思路和技术你全都有哈(一)_源源佩奇的博客-CSDN博客 。 引用:请求主评论的内容 import requests import jieba import time import csv from pyecharts.charts import WordCloud # 得到csv这个对象,一遍下面的存储使用 cfile = open('bilibili评论数据.csv','w ',encoding='utf8') csv_file = csv.writer(cfile) url = 'https://api.bilibili.com/x/v2/reply/main?jsonp=jsonp&next=0&type=1&oid=48487753&mode=3&plat=1&_=1667131834151' resp = requests.get(url).json() # 声明一个变量进行计数,我只需要获得200条数据就可以了 count = 0 # 数据清洗得到主评论 for i in resp['data']['replies']: # 获取评论id和页数,用作自评的请求参数 rpid = i['rpid'] rcount = i['rcount'] # 获得评论内容 content = i['content']['message'] csv_file.writerow([content]) print(rpid,content) 。 引用:不管是什么样的爬虫项目,第一步要做的就是分析网页结构,以及数据来源,和数据结构。只有当你了解后,你才能知道你的代码具体该怎么去写。 b站评论爬虫可以使用Python来实现。首先,你需要分析要爬取的网页结构,并确定数据来源和数据结构。然后,你可以使用Python的requests库发送GET请求获取网页内容,并使用json解析获取到的数据。接下来,你可以通过分析数据的结构,提取你所需要的评论内容,并存储到一个文件中,例如CSV文件。你可以使用Python的csv库来实现文件的写入。最后,你可以根据需要对数据进行清洗和处理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值