使用Python爬取Bilibili热门小视频：完整教程与功能扩展

最新推荐文章于 2025-12-15 19:44:21 发布

原创

最新推荐文章于 2025-12-15 19:44:21 发布 · 656 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言 #数据库 #前端

使用Python爬取Bilibili热门小视频：完整教程与功能扩展

在当今短视频盛行的时代，了解如何从热门平台获取视频数据变得尤为重要。本文将带你深入探索如何使用Python爬取Bilibili热门小视频，并在此基础上扩展更多实用功能。

项目概述

我们将创建一个Bilibili小视频爬虫，它能够：

获取Bilibili热门小视频的JSON数据
提取视频标题、发布时间、视频地址、作者信息和观看量
扩展功能：下载视频、数据持久化、异常处理等

环境准备

首先，确保你已安装必要的Python库：

import requests  # 网络请求模块
import time      # 时间模块
import random    # 随机模块
import os        # 操作系统模块
import re        # 正则表达式

核心爬虫类

让我们从基础爬虫类开始，这是整个项目的核心：

class Crawl():
    def __init__(self):
        # 创建头部信息，模拟真实浏览器访问
        self.headers = {
   
   
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0',
            'Referer': 'https://www.bilibili.com/'  # 添加Referer避免反爬
        }
    
    def get_json(self, json_url):
        try:
            response = requests.get(json_url, headers=self.headers, timeout=10)
            # 判断请求是否成功
            if response.status_code == 200:
                return response.json()  # 返回json信息
            else:
                print(f'获取json信息的请求没有成功！状态码：{
     
     response.status_code}')
                return None
        except Exception as e:
            print(f'请求发生错误：{
     
     e}')
            return None

这个类负责发送HTTP请求并获取JSON数据。我们添加了异常处理和超时设置，使代码更加健壮。

数据解析与提取

接下来是解析JSON数据的关键部分：

def parse_video_info(self, json_data):
    """解析视频信息"""
    if not json_data or 'data' not in json_data:
        print("无效的JSON数据")
        return []
    
    infos = json_data['data'