B站视频爬取学习(Python)

前言

        仅用于交流学习，不可用于商业用途开发环境，不可非法测试。

        (非大会员，不影响版权）

分析

        我们要爬取的是视频，那肯定要爬取的是两样东西，视频跟音频。

        在开始爬取的时候我们先要对网站进行一些信息收集，方便后面的爬取。

        收集视频，音频，可以搜索mp4，m3u8，m4s，m4a等。

开始实践

        先想一下自己喜欢什么类型的视频，然后去搜索，搜索出来的视频就是我们要爬取的。

        我们先在python中发送请求，看看有没有我们想要的数据

import requests
import re


# 爬取多视频源网站
url = 'https://search.bilibili.com/all?keyword=****'

# 认证
header = {
    "Referer": "https://www.bilibili.com/",     # 防盗链，用于告诉服务器我是从哪个链接来的。
    "user-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36 Edg/111.0.1661.62",
    "cookie": "*******"
}
response = requests.get(url, headers=header).text
print(response)

        （这个认证，一般就写user-Agent,如果放回的数据中没有你想要的，是其他的内容，可以       试着多加上几个认证）       

        这里放回的数据中刚好有我们想要的数据

         我们先把视频的地址给过滤出来，因为我们现在是在一个搜索页面上，还没有到看视频的网页上。

url_s = re.findall('<a href="(.*?)" target="_blank" data-v-15c84221>', response)

        这边会发现有一些地址是重复的，我们观察一下，再过滤一遍

url_s = re.findall('<a href="(.*?)" target="_blank" data-v-15c84221>', response)[1::2]

        我们再后面加上[1::2]作为切片，切分开来

        现在这是一个数组，我们遍历出来，然后一个一个请求

for url_s in url_s:
    url = f'http:{url_s}'
    response_s = requests.get(url, headers=header).text

        我们现在开始过滤出视频的名称

name = re.findall('<h1 title="(.*?)" class="video-title"', response_s)[0]  # 匹配名称

        这边为什么在后面加上[0],因为过滤出来的名称还是数组，是数组的话，我们后面可能还要遍历一次，我[0]就直接取数组中第一个数据，然后刚好一个数组里面就只有一个数据

        接下来我们要的是视频和音频的地址

        经过在源码一顿瞎找，最后找到这一串

rp = re.findall('<script>window.__playinfo__=(.*?)</script>', response_s)
print(rp)

        这里面存在视频跟音频的地址，我们过滤出来 

r_url = re.findall('"video":.*?"id":32,"baseUrl":"(.*?)"', str(rp))[0]   # 视频地址
r_url2 = re.findall('"audio":.*?"id":30280,"baseUrl":"(.*?)"', str(rp))[0]   # 音频地址·

        现在信息分析的差不多了，视频地址跟音频地址都拿到了

        接下来就是请求了

    res1 = requests.get(url=r_url, headers=header).content  # 视频
    res2 = requests.get(url=r_url2, headers=header).content  # 音频

        把视频跟音频分别保存在一个文件中

os.mkdir(f'D:/python1/py/case_data/video/{name}')

with open(f'路径/{name}/1' + '.mp3', mode='wb') as f:
    f.write(res2)
with open(f'路径/{name}/2' + '.mp4', mode='wb') as f:
    f.write(res1)

        我们查看一下运行查看一下文件中有没有文件，能不能正常打开

 接下来我们使用工具ffmpeg合并视频跟音频

工具下载地址：Download FFmpeg

简单的学一下这个工具的使用，记住配置一下环境变量 

 我们利用os模块执行系统命令，将视频与音频合并

os.system(f'ffmpeg -i "地址/{name}/1.mp3" -i "地址/{name}/2.mp4" -acodec copy -vcodec copy 地址/{name}/{name}.mp4')

这样就合并成功了，先要的视频也能正常播放，如果有问题可以试着看看是那里出问题了。

总结

        代码还是蛮简单的，信息收集的到位，后续写代码就不会太麻烦

        本文只适合学习😁😁😁