利用Request通过bv号爬取B站指定视频下所有评论（IP地址、大会员、等级、一二级评论等等)，附带源码和教程

已于 2025-03-26 17:59:06 修改
阅读量2.1k 收藏 20
点赞数 34
文章标签： python 数据分析 爬虫 网络爬虫
于 2025-03-26 17:26:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/onedyer/article/details/146535940
版权

前言🐈

用于爬取Bilibili（B站）视频评论的爬虫，支持爬取一级评论及二级回复，并将数据导出为CSV文件。通过输入视频的BV号，脚本会自动获取视频信息并抓取相关评论，包含用户基本信息、评论内容、IP属地、头像、会员、等级等字段。🦄🦄

🐨Github项目地址：bilibili-comment-crawler
🐒CSDN项目地址：利用Request通过bv号爬取B站指定视频下所有评论（IP地址、大会员、等级、一二级评论等等)，附带源码和教程
🐼个人博客教程地址：B站评论爬取(IP地址、内容、大会员、性别等等)教程

1.数据样例🤪

在这里插入图片描述
在这里插入图片描述

2.功能特性

  • ​多级评论爬取：支持爬取一级评论及二级回复。
  • ​用户信息采集：包括用户ID、用户名、等级、性别、IP属地、大会员状态等。
  • ​自动分页处理：自动遍历所有评论页，无需手动分页。
  • ​反爬机制处理：使用时间戳和MD5加密生成请求参数，降低被封禁风险。
  • ​数据导出：结果保存为CSV文件，兼容Excel和数据分析工具。

3.快速开始

步骤1：配置Cookie

登录B站，然后按F12打开开发者模式,点击网络，在搜索框中搜索Cookie，就可以在下方的显示栏选中Cookie，在项目根目录创建bili_cookie.txt文件，将Cookie粘贴进去.

在这里插入图片描述

同理，搜索User-Agent,复制该值到代码中的Header里。

# 获取B站的Header
def get_Header():
    with open('bili_cookie.txt','r') as f:
            cookie=f.read()
    header={
            "Cookie":cookie,
            "User-Agent":'这里是User-Agent值'
    }
    return header

步骤2：运行脚本

  • 1.修改脚本中的目标视频BV号（代码末尾的 bv = "BV1hMo4YrEW4"）。
  • 2.执行脚本

参数说明

​is_second​（默认开启）
设为True时爬取二级评论，False仅爬取一级评论。

自定义请求头
修改get_Header()中的User-Agent以模拟不同浏览器环境。

4. 核心原理

4.1 网络标头分析

通过抓包测试，B站网页端的评论获取是通过请求URL获取JSON格式的评论数据，在前端上解析出来。因此可以通过直接模拟网页截取JSON评论数据，来实现评论数据的爬取。

在这里插入图片描述

每一个请求URL大概有20条评论数据，因此需要不断访问全部的请求URL，来获得视频下面的所有评论。

在这里插入图片描述

观察请求URL中的链接参数，这些参数与负载有关，每个请求URL有不同的参数，通过这些不同的参数就可以访问不同的请求URL。

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

因此找到每一页的以下不同参数，就可以实现每一页的评论数据获取。

  • oid
  • type
  • mode
  • pagination_str
  • plat
  • seek_rpid
  • web_location
  • w_rid
  • wts

4.2 oid的获取

不同视频都有其对应的oid值，通过函数获取该值，这样就能获得视频的oid和标题。

# 通过bv号，获取视频的oid
def get_information(bv):
    resp = requests.get(f"https://www.bilibili.com/video/{bv}",headers=get_Header())
    # 提取视频oid
    obj = re.compile(f'"aid":(?P<id>.*?),"bvid":"{bv}"')
    oid = obj.search(resp.text).group('id')
    # 提取视频的标题
    obj = re.compile(r'<title data-vue-meta="true">(?P<title>.*?)</title>')
    title = obj.search(resp.text).group('title')
    return oid, title

4.3 type、plat、mode以及seek_rpid

type、plat和mdoe都是常量，分别为1、1和2。同时seek_rpid的值也默认为空

    # 参数
    mode = 2
    plat = 1
    type = 1
    seek_rpid=''

4.4 web_location

web_location的值也默认是1315875，如果不放心或者报错，则可以按照上述方法查看自己的web_location值

web_location = 1315875

4.5 wts的获取

从名字就可以看出来wts是当下的时间戳，对于这个，可以调用time，获取现在的时间戳。

    # 获取当下时间戳
    wts = time.time()

4.6 pagination_str 的提取

通过上图中的信息，可以发现pagination_str值在第一页时，默认值为{"offset":""}而后续页数都不同，其中从第二页，评论页的\"cursor\"值开始不同，为了寻找该值变化的规律，搜索不同数值，即8722的位置。

在这里插入图片描述
在这里插入图片描述

由此发现，所谓的\"cursor\"值都在上一页的JSON数据中。比如，获取了第一页，就可以获取第二页的\"cursor\"，以此访问第二页的数据，然后继续获得第三页的\"cursor\"，以此连接下去，最终获得所有页。
通俗的解释就是，前一页蕴含着指向下一页的“指针”。 代码大致如下：

.....
    # 如果不是第一页
    if pageID != '':
        pagination_str = '{"offset":"{\\\"type\\\":3,\\\"direction\\\":1,\\\"Data\\\":{\\\"cursor\\\":%d}}"}' % pageID
    # 如果是第一页
    else:
        pagination_str = '{"offset":""}'

.....

# 下一页的pageID
    next_pageID = comment['data']['cursor']['next']
    # 判断是否是最后一页了
    if next_pageID == 0:
        print(f"评论爬取完成！总共爬取{count}条。")
        return
    # 如果不是最后一页，则停0.5s（避免反爬机制）
    else:
        time.sleep(0.5)
        print(f"当前爬取{count}条。")
        start(bv, oid, next_pageID, count, csv_writer,is_second)

4.7 w_rid与MD5加密算法

w_rid的获取最为复杂，首先需要获取它的位置

在这里插入图片描述

如图所示，它的结果来源于函数的计算，为了解出函数的具体功能以及函数中参数的内容，对这段代码进行断点测试。

在这里插入图片描述

断点后刷新页面，页面停止到该函数运行前

在这里插入图片描述

在控制台分别输入参数以及函数，观察输出结果

在这里插入图片描述

由此一切都解密出来了，y是几个上述参数以&拼接而来的字符串，而a是一个字符串常量，并且观察at()函数的运行结果，可以得出，它是一个MD5加密，返回y与a相加后的加密结果。

  • y：其他变量通过&相互拼接形成的字符串
  • a：加密参数，默认为'ea1db124af3c7062474693fa704f4ff8'
  • at()：MD5加密算法，加密y与a

w_rid的加密过程如下

    # MD5加密
    md5_str='ea1db124af3c7062474693fa704f4ff8' # 加密参数
    code = f"mode={mode}&oid={oid}&pagination_str={urllib.parse.quote(pagination_str)}&plat={plat}&seek_rpid={seek_rpid}&type={type}&web_location={web_location}&wts={wts}" + md5_str
    MD5 = hashlib.md5()
    MD5.update(code.encode('utf-8'))
    w_rid = MD5.hexdigest()

5.完整代码

import re
import requests
import json
from urllib.parse import quote
import pandas as pd
import hashlib
import urllib
import time
import csv

# 获取B站的Header
def get_Header():
    with open('bili_cookie.txt','r') as f:
            cookie=f.read()
    header={
            "Cookie":cookie,
            "User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.0.0.0 Safari/537.36 Edg/134.0.0.0'
    }
    return header


# 通过bv号，获取视频的oid
def get_information(bv):
    resp = requests.get(f"https://www.bilibili.com/video/{bv}",headers=get_Header())
    # 提取视频oid
    obj = re.compile(f'"aid":(?P<id>.*?),"bvid":"{bv}"')
    oid = obj.search(resp.text).group('id')
    # 提取视频的标题
    obj = re.compile(r'<title data-vue-meta="true">(?P<title>.*?)</title>')
    title = obj.search(resp.text).group('title')
    return oid, title

# 轮页爬取
def start(bv, oid, pageID, count, csv_writer, is_second):
    # 参数
    mode = 2
    plat = 1
    type = 1
    seek_rpid=''
    web_location = 1315875

    # 获取当下时间戳
    wts = time.time()

    # 如果不是第一页
    if pageID != '':
        pagination_str = '{"offset":"{\\\"type\\\":3,\\\"direction\\\":1,\\\"Data\\\":{\\\"cursor\\\":%d}}"}' % pageID
    # 如果是第一页
    else:
        pagination_str = '{"offset":""}'

    # MD5加密
    md5_str='ea1db124af3c7062474693fa704f4ff8' # 加密参数
    code = f"mode={mode}&oid={oid}&pagination_str={urllib.parse.quote(pagination_str)}&plat={plat}&seek_rpid={seek_rpid}&type={type}&web_location={web_location}&wts={wts}" + md5_str
    MD5 = hashlib.md5()
    MD5.update(code.encode('utf-8'))
    w_rid = MD5.hexdigest()

    url = f"https://api.bilibili.com/x/v2/reply/wbi/main?oid={oid}&type={type}&mode={mode}&pagination_str={urllib.parse.quote(pagination_str, safe=':')}&plat=1&seek_rpid={seek_rpid}&web_location={web_location}&w_rid={w_rid}&wts={wts}"
    comment = requests.get(url=url, headers=get_Header()).content.decode('utf-8')
    comment = json.loads(comment)

    for reply in comment['data']['replies']:
        # 评论数量+1
        count += 1
        # 上级评论ID
        parent=reply["parent"]
        # 评论ID
        rpid = reply["rpid"]
        # 用户ID
        uid = reply["mid"]
        # 用户名
        name = reply["member"]["uname"]
        # 用户等级
        level = reply["member"]["level_info"]["current_level"]
        # 性别
        sex = reply["member"]["sex"]
        # 头像
        avatar = reply["member"]["avatar"]
        # 是否是大会员
        if reply["member"]["vip"]["vipStatus"] == 0:
            vip = "否"
        else:
            vip = "是"
        # IP属地
        try:
            IP = reply["reply_control"]['location'][5:]
        except:
            IP = "未知"
        # 内容
        context = reply["content"]["message"]
        # 评论时间
        reply_time = pd.to_datetime(reply["ctime"], unit='s')
        # 相关回复数
        try:
            rereply = reply["reply_control"]["sub_reply_entry_text"]
            rereply = int(re.findall(r'\d+', rereply)[0])
        except:
            rereply = 0
        # 点赞数
        like = reply['like']

        # 个性签名
        try:
            sign = reply['member']['sign']
        except:
            sign = ''

        # 写入CSV文件
        csv_writer.writerow([count, parent, rpid, "一级评论",uid, name, level, sex, context, reply_time, rereply, like, sign, IP, vip, avatar])

        # 二级评论(如果开启了二级评论爬取，且该评论回复数不为0，则爬取该评论的二级评论)
        if is_second and rereply !=0:
            for page in range(1,rereply//10+2):
                second_url=f"https://api.bilibili.com/x/v2/reply/reply?oid={oid}&type=1&root={rpid}&ps=10&pn={page}&web_location=333.788"
                second_comment=requests.get(url=second_url,headers=get_Header()).content.decode('utf-8')
                second_comment=json.loads(second_comment)
                for second in second_comment['data']['replies']:
                    # 评论数量+1
                    count += 1
                    # 上级评论ID
                    parent=second["parent"]
                    # 评论ID
                    second_rpid = second["rpid"]
                    # 用户ID
                    uid = second["mid"]
                    # 用户名
                    name = second["member"]["uname"]
                    # 用户等级
                    level = second["member"]["level_info"]["current_level"]
                    # 性别
                    sex = second["member"]["sex"]
                    # 头像
                    avatar = second["member"]["avatar"]
                    # 是否是大会员
                    if second["member"]["vip"]["vipStatus"] == 0:
                        vip = "否"
                    else:
                        vip = "是"
                    # IP属地
                    try:
                        IP = second["reply_control"]['location'][5:]
                    except:
                        IP = "未知"
                    # 内容
                    context = second["content"]["message"]
                    # 评论时间
                    reply_time = pd.to_datetime(second["ctime"], unit='s')
                    # 相关回复数
                    try:
                        rereply = second["reply_control"]["sub_reply_entry_text"]
                        rereply = re.findall(r'\d+', rereply)[0]
                    except:
                        rereply = 0
                    # 点赞数
                    like = second['like']
                    # 个性签名
                    try:
                        sign = second['member']['sign']
                    except:
                        sign = ''

                    # 写入CSV文件
                    csv_writer.writerow([count, parent, second_rpid, "二级评论", uid, name, level, sex, context, reply_time, rereply, like, sign, IP, vip, avatar])

    # 下一页的pageID
    next_pageID = comment['data']['cursor']['next']
    # 判断是否是最后一页了
    if next_pageID == 0:
        print(f"评论爬取完成！总共爬取{count}条。")
        return
    # 如果不是最后一页，则停0.5s（避免反爬机制）
    else:
        time.sleep(0.5)
        print(f"当前爬取{count}条。")
        start(bv, oid, next_pageID, count, csv_writer,is_second)

if __name__ == "__main__":
    # 获取视频bv,输入指定视频的bv，就可以爬取该视频下所有数据
    bv = "BV1fdotYtEF6"
    # 获取视频oid和标题
    oid,title = get_information(bv)
    # 评论起始页（默认为空）
    next_pageID = ''
    # 初始化评论数量
    count = 0


    # 是否开启二级评论爬取，默认开启
    is_second = True


    # 创建CSV文件并写入表头
    with open(f'{title[:12]}_评论.csv', mode='w', newline='', encoding='utf-8-sig') as file:
        csv_writer = csv.writer(file)
        csv_writer.writerow(['序号', '上级评论ID','评论ID', "评论属性",'用户ID', '用户名', '用户等级', '性别', '评论内容', '评论时间', '回复数', '点赞数', '个性签名', 'IP属地', '是否是大会员', '头像'])

        # 开始爬取
        start(bv, oid, next_pageID, count, csv_writer,is_second)
入表头
    with open(f'{title[:12]}_评论.csv', mode='w', newline='', encoding='utf-8-sig') as file:
        csv_writer = csv.writer(file)
        csv_writer.writerow(['序号', '上级评论ID','评论ID', "评论属性",'用户ID', '用户名', '用户等级', '性别', '评论内容', '评论时间', '回复数', '点赞数', '个性签名', 'IP属地', '是否是大会员', '头像'])

        # 开始爬取
        start(bv, oid, next_pageID, count, csv_writer,is_second)
onedyer
关注
一个简单的爬取b站up下所有视频的所有评论信息的爬虫
31415926535x的博客
03-03 4620
心血来潮搞了一个简单的爬虫，主要是想知道某个人的b站账号，但是你知道，b站在搜索一个用户时，如果这个用户没有投过稿，是搜不到的，，，这时就只能想方法搞到对方的mid，，就是 space.bilibili.com/9444976 后面的那一串数字。偶然看到这个人关注了某个主播，，想到可能这个人会回复主播的视频，于是想着爬到所有up下的视频的评论对应的用户，这样我就可以在数据库里检索昵称得到mid，，...
【Python】使用Python根据BV号爬取对应B站视频下的所有评论（包括评论下的回复）
weixin_41429999的博客
04-27 5786
【Pyton】使用Python根据BV号爬取对应B站视频下的所有评论（包括评论下的回复） 本文写于2020-4-27，当你阅读到本文的时候如果因为下列原因导致本文代码无法正常工作，本人概不负责。 B站的页面和API接口的变动 B站为页面和API加入了反爬虫机制，或者对请求首部有了新的要求 Python版本的变动和标准库的调整 BeautifulSoup4的变动 使用到的库 【第三方库】：Be...
获取Bilibili弹幕和评论的方法
Valdis的魔法商店
03-28 8238
获取评论 构造链接： https://api.bilibili.com/x/v2/reply?&type=1&pn=页码&oid=视频的av号 这里会得到一个json格式的网页。不过每一页都有热门评论和置顶评论对应json的内容（如果有的话）。 获取弹幕 ①带日期 YYYY-MM-DD https://api.bilibili.com/x/v2/dm/...
获取哔站评论
最新发布
yj2094632273的博客
03-04 537
哔哩哔哩（B站）是当前年轻人十分喜爱的视频分享平台，以其丰富多样的内容、互动性强的社区氛围以及独特的弹幕文化深受用户喜爱。在该平台上，用户不仅可以观看各种类型的视频，如动画、游戏、科技、生活、影视、音乐等，还可以通过弹幕和评论表达自己的观点，与其他观众进行实时交流。这种互动机制极大地增强了用户的沉浸感和参与感，使得B站成为了一个兼具娱乐性和社交属性的内容生态平台。由于B站的弹幕与评论系统承载了大量用户的实时反馈和情感表达，对这些文本数据进行深入分析，可以挖掘出许多有价值的信息。
最新的B站弹幕和评论爬虫，你们要的冰冰来啦！
AI科技大本营
09-27 5126
作者 |周萝卜 来源 |萝卜大杂烩 最近想爬下B站的弹幕和评论，发现网上找到的教程基本都失效了，毕竟爬虫和反爬是属于魔高一尺、道高一丈的双方，程序员小哥哥们在网络的两端斗智斗勇，也是精彩纷呈。 当然了，对于爬虫这一方，爬取网站数据，一般目的都是比较明确的，比如我这里就是为了冰冰，废话不多说，开干！ 获取弹幕数据 这里先声明一点，虽然网络上的整体教程都失效了，但是有一些步骤还是可以参考的，比如我们可以知道，对于弹幕数据，我们是可以通过如下的一个接口来获取的 https://comme..
Python：抓取 Bilibili（B站）评论、弹幕、字幕等
qq_41297934的博客
09-15 5310
​ 个人科研学习需求，需要获取一些 UGC（user generated content），包括 UP 的内容、弹幕、评论等。于是从 哔哩哔哩 (゜-゜)つロ 干杯~-bilibili抓取了一些数据，以下内容仅供学习参考。
【2024年最新】Bilibili/B站视频/动态评论爬虫
weixin_51869009的博客
06-12 1万+
bilibili爬虫
哔站评论爬取
yzx991013的博客
12-27 3379
代码如下：q=0.9,en;q=0.6',v="24"',0',Win64;
python3网络爬虫--爬取b站视频评论用户信息（附源码）
懷淰メ的博客
11-18 1万+
最近马保国老师在b站挺火的，关于他的视频播放量很高，b站视频评论区都是人才说话好听，写个爬虫爬取一下b站评论区用户信息和评论内容。 一．准备工作 1．工具 （1）Chrome 谷歌浏览器 安装地址：https://www.google.cn/chrome/ （插件：json-handle 下载地址：http://jsonhandle.sinaapp.com/，json-handle安装方法： https://blog.csdn.net/xb12369/article/details/79002208 用于分
爬取b站任意视频下的所有评论【附完整代码】
榕城候佳人的博客
08-15 1万+
今天花了一上午探究如何用selenium获取b站视频下面的评论，一开始只是想用一个视频来练练手，后面逐渐改成了所有视频都适用的完整代码。因为我是用的jupyter，所以整个代码包括两个部分。下面这段代码用于完成获取自动登录b站所需的cookie。下面是第二段代码，具体讲解我会放在b站上。下面的代码大家可以直接运行，还可以更换视频地址。
BiliBili系列（二）：个人历史数据爬取与分析
爱猫的小学森
08-24 3946
本人的项目，未参考任何博文
python爬取b站所有视频_如何快速爬取B站全站视频信息
weixin_39901213的博客
12-08 2862
B 站我想大家都熟悉吧，其实 B 站的爬虫网上一搜一大堆。不过 纸上得来终觉浅，绝知此事要躬行，我码故我在。最终爬取到数据总量为 760万 条。准备工作首先打开 B 站，随便在首页找一个视频点击进去。常规操作，打开开发者工具。这次是目标是通过爬取 B 站提供的 api 来获取视频信息，不去解析网页，解析网页的速度太慢了而且容易被封 ip。勾选 JS 选项，F5 刷新找到了 api 的地址动手写码好...
爬取b站的评论并进行可视化
2201_75548546的博客
09-27 6603
csv表格截图： 2D条形图以及3D条形图: 一个异步加载请求库：pip install selenium (下载对应版本可用selenium == )两个可视化库（任选其一即可）：pip install matplotlib（下载对应版本同以上方法）pip install pyecharts （下载对应版本同以上方法）由于b站api参数更改了，未能够找到合适的方式进行分页爬取，故采用以下两种方式打开开发者工具，找到图中红圈的位置打开后查看其中的json信息找到replies，如下图所示：每一则u
【Python】大数据挖掘课程作业1——使用爬虫爬取B站评论、弹幕与UP主的投稿视频列表
weixin_41429999的博客
06-21 7694
【Python】大数据挖掘课程作业1——使用爬虫爬取B站评论、弹幕与UP主的投稿视频列表 数据挖掘部分的基本目标是：对于指定的UP主，能够获取其投稿视频列表；对于指定的视频，能够获取其视频标签、评论（包括评论下的回复）、弹幕。 文章默认读者对网络爬虫有一定的基础知识； 文章写作时（2020-06），B站正处于AV号像BV号过度的时期，部分API可能会在今后发生重大变化，请今后的读者注意。 获取指定UP主的投稿视频列表 首先，我们知道每一个B站帐号都有一个对应的数字UID，然后，通过在浏览器中访问用户的个人主
python怎么爬取b站_【Python爬虫实例学习篇】——4、超详细爬取bilibili视频
weixin_39522423的博客
12-12 4777
【Python爬虫实例学习篇】——4、超详细爬取bilibili视频由于经常在B站上学习，但无奈于家里网络太差，在线观看卡顿严重，于是萌生了下载视频的想法(如果只是单纯想下载视频，请用you-get库)。废话不多说直接开干。(我发现好像很多人在爬bilibili视频的时候都有用到某个API然后还需要一个cid参数，这些在本文中没有用到。。。。)(另外再说明一下，第3篇文章没有通过审核，要看的话去公...
爬虫之牛刀小试（五）：爬取B站的用户评论
m0_68926749的博客
01-13 3783
接着我们的目标要获取多个网址（类似于https://api.bilibili.com/x/v2/reply/wbi/main?使用selenium来模仿人的动作，获取多个网址，关键是B站需要登陆就很难受，不知道为什么Cookie用不了，只好手动操作一下了。此次共读取了20X10共计200条评论，每一个网址有20条评论，需要花费大约30s左右，共计爬十个。小小地出手一下，这次使用selenium来自动化进行爬取，虽然速度很慢，但是还可以接受。找到你想要的值，对了，时间记得要转化一下，不然会出错！
如何用油猴解析VIP视频
热门推荐
数字化转型+刷脸支付
11-13 2万+
如何用油猴解析VIP视频
python爬取B站弹幕评论
weixin_51891232的博客
10-20 2224
python爬取B站弹幕评论
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值