Python爬取B站评论：从零到实战

---

概要

本文介绍如何通过Python爬取B站(Bilibili)视频评论数据。关键技术点包括：

• B站API接口分析
• 反爬机制突破（Cookie模拟登录）
• 评论数据存储为结构化CSV文件
• 自动化分页爬取策略

---

整体架构流程

---

技术名词解释

• BV号：B站视频的唯一标识符，如BV1GJ411x7d1
• oid：视频的数字ID，通过API接口转换获得
• SESSDATA：B站登录会话Cookie的关键字段
• API限流：B站对未登录用户限制为每分钟5-10次请求

---

技术细节

1. 关键API接口

# 获取视频oid
"https://api.bilibili.com/x/web-interface/view?bvid={bvid}"

# 获取评论（分页）
"https://api.bilibili.com/x/v2/reply?type=1&oid={oid}&pn={page}"

2. 反爬解决方案

headers = {
    "User-Agent": "Mozilla/5.0...",
    "Referer": "https://www.bilibili.com",
    "Cookie": "SESSDATA=xxx; bili_jct=xxx"  # 需定期更新
}

3. 数据存储优化

# 使用utf-8-sig编码解决Excel乱码
with open(filename, "a", encoding="utf-8-sig") as f:
    writer = csv.writer(f)

4. 完整代码实现

import requests
import time
import csv

def get_oid(bvid):
    url = f"https://api.bilibili.com/x/web-interface/view?bvid={bvid}"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...",
        "Cookie": "buvid3=xxx; SESSDATA=xxx"  # 需替换实际Cookie
    }
    try:
        response = requests.get(url, headers=headers, timeout=10)
        return response.json()['data']['aid']
    except Exception as e:
        print(f"获取oid失败：{e}")
        return None

def get_comments(oid, bvid, page=1):
    url = "https://api.bilibili.com/x/v2/reply"
    params = {"type":1, "oid":oid, "pn":page, "ps":20}
    try:
        response = requests.get(url, headers=headers, params=params)
        return response.json() if response.status_code == 200 else None
    except Exception as e:
        print(f"获取评论失败：{e}")
        return None

def save_comments(comments, filename="comments.csv"):
    with open(filename, "a", newline="", encoding="utf-8-sig") as f:
        writer = csv.writer(f)
        for comment in comments:
            writer.writerow([
                comment['member']['uname'],
                comment['content']['message'],
                comment['like']
            ])

if __name__ == "__main__":
    bvid = input("请输入视频BV号：")
    oid = get_oid(bvid)
    for page in range(1, 6):
        data = get_comments(oid, bvid, page)
        if not data: break
        save_comments(data['data']['replies'])
        time.sleep(1.5)  # 遵守API限流

---

小结

1. 技术要点：

   • 必须使用有效Cookie绕过登录限制
   • 需要控制请求频率（建议≥1.5秒/次）
   • 评论数据采用追加写入模式

2. 注意事项：

   • Cookie有效期约7天，需定期更新
   • 商业用途需获得B站官方授权
   • 建议增加异常处理和日志记录

3. 扩展方向：

   • 添加代理IP池应对封禁
   • 使用Selenium模拟浏览器获取动态Cookie
   • 结合情感分析处理评论内容

---

声明：本代码仅用于学习交流，请遵守B站用户协议，禁止用于商业用途。建议在爬取前检查robots.txt文件确认合规性。

---