2024年Python爬虫入门教程23：A站视频的爬取，解密m3u8视频格式(1)

• Python 3.6

• Pycharm

相关模块的使用💨

---

import requests

import re

from tqdm import tqdm

import os

安装Python并添加到环境变量，pip安装需要的相关模块即可。

💥确定目标需求

---

既然选择爬取视频了，那肯定优先选择小姐姐的视频呀😍

懂得都懂~

💥网页数据分析，找寻数据来源

---

A站视频是m3u8格式，整个视频分为很多小段，一段对应一个ts文件。

所以只需要找到这个m3u8的数据来源就可以获取所有的ts文件。

url链接的请求参数 pkey 是会改变的。但是这个参数是可以在网页源代码中找到的。包括m3u8的请求链接也是在网页源代码中可以获取的。

💥整体思路

---

1、请求视频地址，获取源代码中的m3u8的url地址。

2、请求m3u8的地址，获取所有的ts文件地址

3、保存ts文件并且合并ts文件成mp4视频格式

💥实现代码

---

import requests

import re

from tqdm import tqdm

import os

def change_title(title):

pattern = re.compile(r"[/\😗?“<>|]”) # ‘/ \ : * ? " < > |’

new_title = re.sub(pattern, “_”, title) # 替换为下划线

return new_title

def get_response(html_url):

headers = {

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36’

}

response = requests.get(url=html_url, headers=headers)

return response

def save(name, video, title):

path = f’{name}\’

if not os.path.exists(path):

os.makedirs(path)

with open(path + title + ‘.ts’, mode=‘wb’) as f:

f.write(video)

def get_m3u8_url(html_url):

html_data = get_response(html_url).text

m3u8_url = re.findall(‘backupUrl(.*?)"]’, html_data)[0].replace(‘"’, ‘’).split(‘\’)[-2]

title = re.findall(‘“title”:“(.*?)”’, html_data)[0]

new_title = change_title(title)

m3u8_data = get_response(m3u8_url).text

m3u8_data = re.sub(‘#EXTM3U’, “”, m3u8_data)

m3u8_data = re.sub(r’#EXT-X-VERSION:\d’, “”, m3u8_data)

m3u8_data = re.sub(r’#EXT-X-TARGETDURATION:\d’, “”, m3u8_data)

m3u8_data = re.sub(r’#EXT-X-MEDIA-SEQUENCE:\d’, “”, m3u8_data)

m3u8_data = re.sub(r’#EXT-X-ENDLIST’, “”, m3u8_data)

m3u8_data = re.sub(r’#EXTINF:\d.\d,', “”, m3u8_data)

m3u8 = m3u8_data.split()

for link in tqdm(m3u8):

ts_url = ‘https://tx-safety-video.acfun.cn/mediacloud/acfun/acfun_video/hls/’ + link

video = get_response(ts_url).content

ts_title = link.split(‘?’)[0].split(‘.’)[1]

save(new_title, video, ts_title)

print(f’{title}已经下载完成,请验收…')

if name == ‘main’:

video_id = input(‘请输入你要下载的视频ID：’)

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！