通过搜索内容下载B站视频案例

爬虫经典老四步：

1.分析网页

2.对网页发送请求，获取响应

3.提取解析数据

4.保存数据

本案例所用到的模块：

import requests
import you_get   # 如果没有该模块,pip install you-get安装即可
import sys
import os

一、分析网页

b站有两种找到接口的情况，如果你是在主页搜索输入需要搜索的内容的话，网站会自动跳转到另一个页面，经过分析，这个页面里面的数据，获取到的数据是html的源码数据，这次本案例不对html这个源码数据进行讲解。我们需要找到的是b站的另一个有数据的接口，这个接口里面的数据是json数据，这个接口如果你直接找，是找不到的，有个方法，你只需要在翻页的地方，点击访问下一页的数据就可以找到这个接口了，如图：


通过分析这个接口网址，我们可以看到这是一个这个网址里面的数据是json数据：

数据网址有了，现在就是分析这个网址了，我们可以看到这个网址里面有很多参数：

page这个参数就是网页翻页需要的参数，keyword这个参数就是需要搜索的内容,也就是说我们在这里输入自己想找的内容，就会有关于这个内容的信息。

通过上面的一系列分析，我的思路是，对接口地址发送请求，获取到响应数据，提取出每个视频的url地址，然后通过you-get这个模块工具，进行下载视频。

二、构建params参数

 def get_params(self):
        """
        构建params参数的方法
        :return:
        """
        params = {
            "context": "",
            "page": str(self.page),
            "order": "",
            "keyword": self.search_name,
            "duration": "",
            "tids_1": "",
            "tids_2": "",
            "__refresh__": "true",
            "_extra": "",
            "search_type": "video",
            "highlight": "1",
            "single_column": "0",
        }
        return params

三、通过构建好的参数，发送请求，获取响应

    def parse_url(self, url):
        """
        发送请求，获取响应数据的方法
        :param url:
        :return:
        """
        params = self.get_params()
        response = requests.get(url, headers=self.headers, params=params)
        if response.status_code == 200:
            return response.json()

四、解析提取每个视频的url地址

    def get_video_url(self, json_str):
        """
        提取视频链接地址的方法
        :param json_str:
        :return:
        """
        for json_data in json_str.get('data').get('result'):
            yield {
                "video_url": json_data.get('arcurl')
            }

五、通过you-get模块下载视频

 def down_video(self, video_url):
        """
        下载视频的方法
        :param video_url:
        :return:
        """
        os.makedirs('./video/', exist_ok=True)
        path = './video/'
        # 使用sys.argv内置方法，可以在代码中输入CMD命令
        sys.argv = ['you-get', '-o', path, video_url]
        # 通过you-get模块，实现下载
        you_get.main()

因为如果要用you-get这个模块下载视频，需要在命令行下输入命令才能执行，所以我会先通过sys这个模块里面的sys.argv这个内置方法，该方法可以让代码在命令行下输入命令执行，然后就可以执行you-get了，you-get模块有一个好处，就是不需要提取视频的名字，它会自动帮你解析出来视频的名字，然后自动命名到你保存的视频中。

效果展示：

可以看到它会有自己的进度条显示，有该视频信息的显示，有该视频的清晰度，这个就是you-get的强大之处。目前You-Get可以下载的网站有很多，比如国外的Youtube、Vimeo、Tumblr、Instagram等，国内的爱奇艺、优酷、乐视、哔哩哔哩，感兴趣的可以自己试试。

六、完整代码

# 导入需要的模块
import requests
import you_get
import sys
import os


class BiliVideoSpider:
    """爬取B站视频"""

    def __init__(self, search_name, page):
        self.API_URL = 'https://api.bilibili.com/x/web-interface/search/type'
        self.headers = {
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36 FS'
        }
        self.search_name = search_name
        self.page = page

    def get_params(self):
        """
        构建params参数的方法
        :return:
        """
        params = {
            "context": "",
            "page": str(self.page),
            "order": "",
            "keyword": self.search_name,
            "duration": "",
            "tids_1": "",
            "tids_2": "",
            "__refresh__": "true",
            "_extra": "",
            "search_type": "video",
            "highlight": "1",
            "single_column": "0",
        }
        return params

    def parse_url(self, url):
        """
        发送请求，获取响应数据的方法
        :param url:
        :return:
        """
        params = self.get_params()
        response = requests.get(url, headers=self.headers, params=params)
        if response.status_code == 200:
            return response.json()

    def get_video_url(self, json_str):
        """
        提取视频链接地址的方法
        :param json_str:
        :return:
        """
        for json_data in json_str.get('data').get('result'):
            yield {
                "video_url": json_data.get('arcurl')
            }

    def down_video(self, video_url):
        """
        下载视频的方法
        :param video_url:
        :return:
        """
        os.makedirs('./video/', exist_ok=True)
        path = './video/'
        # 使用sys.argv内置方法，可以在代码中输入CMD命令
        sys.argv = ['you-get', '-o', path, video_url]
        # 通过you-get模块，实现下载
        you_get.main()

    def run(self):
        """
        实现主要逻辑思路的方法
        :return:
        """
        # 1.发送请求，获取响应数据
        json_str = self.parse_url(self.API_URL)
        # 2.提取需要的视频地址数据
        video_url_list = self.get_video_url(json_str)
        for video_url in video_url_list:
            # 3.下载需要的视频数据
            self.down_video(video_url.get('video_url'))


if __name__ == '__main__':
    for page in range(1, 2):
        search_name = input('请输入你需要下载的视频名称：')
        biliVideo_spider = BiliVideoSpider(search_name, page)
        biliVideo_spider.run()