Python爬虫之bilibili视频弹幕爬取并保存为JSON格式（详解分析+代码实现）

最新推荐文章于 2024-09-02 00:20:30 发布

IronmanJay

最新推荐文章于 2024-09-02 00:20:30 发布

阅读量5.3k

点赞数 12

分类专栏：网络爬虫文章标签： pycharm html5 https json xpath

本文链接：https://blog.csdn.net/IronmanJay/article/details/104522931

版权

网络爬虫专栏收录该内容

2 篇文章 1 订阅

订阅专栏

文章目录

一、项目介绍
二、所需技术
三、网页分析
四、代码实现
五、爬取结果
六、总结

一、项目介绍

今天我们的爬虫内容是bilibili视频弹幕爬取，并保存到本地为JSON格式，正常爬虫只需要发送请求，解析相应内容，而爬取bilibili的内容，视频弹幕并没在响应的html中，而是保存在一个响应的url中，以XML格式保存，所以这算是一个新的内容，我会在下面进行详解。

二、所需技术

import requests (发送请求获取响应数据)
from lxml import etree (xpath提取内容)
import re (正则表达式提取内容)
import json (JSON格式与文本格式的转换)

三、网页分析

3.1 分析响应内容

首先以今天（2020年2月26日）B站排行榜第一的视频为例，右键检查（使用Chrome浏览器），我们首先需要获取到视频的标题，这里我们使用Chrome的xpath插件更方便的提取内容，发现视频标题存在与html中，而弹幕似乎不在，我们接下来分析。
在这里插入图片描述

3.2 找到弹幕所在位置

1、首先是找到url，一开始我本因为就是正常的保存在html中，而当我跑了很多次之后，html中都没有发现弹幕，这个时候我来到检查中的Network，看一下这里服务器响应的内容，然后数据太多了，但是功夫不负有心人，终于让我找到了，可见下图，是一个url，所以就意味着我们可以向这个url发送请求，就能获取到所需数据，以XML格式存储，我怕这个url还需要别的参数，所以找了几个视频，发现唯一变的就是后面的oid，所以我们还需要获取到oid参数，但是oid在html中保存为cid，这里就需要用到正则表达式提取，然后拼接。可见下图
在这里插入图片描述
2、然后是对应的XML响应弹幕内容

3、正则表达式提取的方法（最后我会放出完整代码）

item["cid:"] = re.findall(r"\"pages\"\:\[\{\"cid\":(.*?)\,", html_str, re.S)[0]

3.3 分析小结

根据分析我们可以看到，我们首先要拼接url来到视频的地址，获取到标题，然后根据我们分析的到的url响应地址，还需要在html中获取到oid，进行拼接，再次发送请求。也就是说，我们需要发送两次请求，为了读者们看的更为清晰，我会在代码中标清楚注释，便于大家分析，如有不足，希望批评。

四、代码实现

import requests
from lxml import etree
import re
import json

class BiLiBiLi:
    # 初始化方法
    def __init__(self,av_num):
        # 接收av号
        self.name = "av号" + str(av_num)
        # 拼接视频地址
        self.av_url = "https://www.bilibili.com/video/av{}".format(av_num)
        # 请求头
        self.headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36"}

    # 响应html内容，并返回
    def parse_url(self,av_url):
        response = requests.get(url=av_url,headers=self.headers)
        return response.content.decode()

    # 解析html内容
    def get_course(self,html_str):
        # 使用xpath
        html = etree.HTML(html_str)
        # 使用字典保存标题和oid
        item = {}
        # 这里使用xpath提取标题
        item["标题:"] = html.xpath("//div[@id='app']/div/div/div/h1/span/text()")[0] if len(html.xpath("//div[@id='app']/div/div/div/h1/span/text()")) > 0 else None
        if item["标题:"]:
            # 这里使用正则提取oid
            item["cid:"] = re.findall(r"\"pages\"\:\[\{\"cid\":(.*?)\,", html_str, re.S)[0]
        else:
            print("请输入正确的av号")
        # 返回提取到的内容
        return item

    # 解析弹幕url地址
    def get_danmu(self,item):
        oid = item["cid:"]
        # 拼接从html中获取到的oid
        danmu_url = "https://api.bilibili.com/x/v1/dm/list.so?oid={}".format(oid)
        # 发送请求
        response = requests.get(url=danmu_url,headers=self.headers)
        # 解析内容
        danmu_json = response.content.decode()
        danmu = etree.HTML(danmu_json.encode("utf-8"))
        # 使用xpath在xml中获取弹幕
        item["弹幕:"] = danmu.xpath("//d/text()")
        # 返回获取到的弹幕
        return item

    # 保存数据
    def save(self,all):
        # 保存为JSON格式到本地
        with open("{}.json".format(self.name),"a",encoding="utf8") as fp:
            fp.write(json.dumps(all,ensure_ascii=False,indent=4))

    def run(self):
        # 获取相应内容
        html_str = self.parse_url(self.av_url)
        # 提取所需数据
        item = self.get_course(html_str)
        all = self.get_danmu(item)
        # 保存数据为JSON格式到本地
        self.save(all)

# 主方法
if __name__ == '__main__':
    # 输入av号，便于之后拼接
    av_num = input("请输入av号:")
    # 传递参数
    bilibili = BiLiBiLi(av_num)
    # 调用方法
    bilibili.run()