B站評論爬蟲教程

B站評論爬蟲教程

1. 取得評論區存儲區 html 核心資訊

1.1 打開所需的bilibili網站

1.2 按F12

1.3 按Ctrl+R或F5

1.4 把主頁面拖動到評論區任一處

1.5 選擇JS

1.6 找到任一個 “main?callback” 文件

1.7 雙擊任一個 “main?callback” 文件，瀏覽 “Header” 資訊，找到並複製 “Request URL”

1.8 取出 “type” 和 “oid” 資訊"

以上圖為例，Request URL 是
https://api.bilibili.com/x/v2/reply/main?callback=jQuery17206718600239093921_1630327593180&jsonp=jsonp&next=0&type=1&oid=332137319&mode=3&plat=1&_=1630327695746

所以 type=1, oid=332137319

2. 加載 Library

import requests
import time # Show
from bs4 import BeautifulSoup
import json
import xlsxwriter

3. 定義要用到函數

def get_html(url):
    headers