python爬虫学习二 电影数据包抓取

学习python爬虫爬取数据二：

前提：

抓取电影的数据包时，需要先了解电影加载数据包需要加载哪些文件，他们的先后顺序，需要访问什么路由URL才获取电影数据包，比如以下先访问的/hls/index.m3u8 获取其所有的需要缓冲的分段包的编号，以此在访问指定的URL获取数据包。

第一步：安装python(不多介绍)

第二步：安装pycharm(不多介绍)

第三步：直接上代码，实际编写python脚本

# 8090sd.com 抓取电影数据
# 首页随意进入一个电影，点击kuyun，点击中文

import requests
import os
import time

# 1、抓取核心数据包(下载一次就可以了)
url = 'https://youku.cdn7-okzy.com/20200818/20501_626b8d3d/1000k/hls/index.m3u8'
# verify=False 不做验证
res = requests.get(url, verify=False)
# 生成文件
with open('./movie/index.m3u8', 'wb') as file:
    file.write(res.content)

# 2、重构路由: 根据文件中规则的内容进行筛选，拼接路由url
fs = open('index.m3u8', 'r', encoding='UTF-8')
# 读取多行
text = fs.readlines()

# 存储分段加载的数据包的所访问的信息
files = []
for item in text:
    # 数据筛选:
    # find 匹配成功则返回0，否则返回-1
    if item.find('#EX') == -1:
        files.append(item.replace('\n', ''))

# 拼接路由url
# files[:3] 意思：只读取files列表中的前3个数据
for file in files[:3]:
    url1 = 'https://youku.cdn7-okzy.com/20200818/20501_626b8d3d/1000k/hls/'
    url2 = url1 + file

    # 数据下载
    # 设置延迟的原因：因为此网站1秒内多次访问则认为是爬虫
    time.sleep(2)
    res1 = requests.get(url2, verify=False)

    # 数据存储
    if os.path.exists('../movie/tvs') is False:
        os.mkdir('../movie/tvs')

    with open('../movie/tvs/{}'.format(file), 'wb') as f:
        f.write(res1.content)

    print('下载成功')

第四步：执行文件的结果

到此下载电影数据包完成。

第五步：合并.ts文件，生成一个cmd可执行命令，执行cmd命令，最终合成一个mp4文件

# tv 根据下载的电影分段的数据包，生成一个cmd命令，执行cmd命令将其所有的.ts包整合成一个.mp4文件
import os

path = 'D:/pythonWorkspace/demo/movie/tvs'
f_list = os.listdir(path)
print(f_list)

shell = '+'.join(f_list)
print(shell)

# 将shell指定的文件 copy (/b 二进制)
# 'sp.ts' 指定copy后文件名
# 'del *.ts' 删除同级所有的.ts文件
shell2 = 'copy /b ' + shell + ' new_tv.mp4' + '\n' + 'del *.ts'

# 获取当前文件所在的父级目录
c = os.getcwd()
print(c)

re = open(c + '/tvs' + '/new.cmd', 'wb')
re.write(bytes(shell2, encoding="utf8"))
re.close()

第六步：执行cmd命令的结果