python 爬虫下载视频 并 安装使用 ffmpeg 合并ts视频文件 使用16进制 修改文件头类型

已于 2022-09-09 11:05:06 修改
阅读量2.1k 收藏 12
点赞数 1
文章标签： python 爬虫 网络爬虫
于 2022-09-08 16:28:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fuchto/article/details/126710611
版权

示例：私聊获取示例链接

第一步找到 视频资源接口

这是m3u8的资源 获取接口

 使用 postman 模拟发送 请求

发现无法获取到数据 报错 403 

查看请求头发现  还有其他请求参数

设置请求头

 在pyhton 中 使用request 请求

 获取到资源文档 发现 链接内容都是 ts文件 采用多线程下载 ts文件


# 采用线程池下载m3u8里的ts
def down_ts():
    # 读取 文件内容
    with open("./hhls.m3u8", "r", encoding="utf-8") as f:
        # n = 0
        # 创建 10 个线程
        with ThreadPoolExecutor(10) as t:
            # 循环 文件内容
            for n, line in enumerate(f):
                line = line.strip()
                # print(line)
                # 判断是否是忽略内容
                if line.startswith("#"):
                    # 是则跳过循环
                    continue
                #     提交线程
                t.submit(ts_video, n, line)

下载方法

# 下载ts视频 ./hhls 为下载ts视频存放的路径
def ts_video(n, line):

    headers = {
        'origin' : 'https://xxxxx',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36',
    }
    resp3 = requests.get(headers=headers, url=line)
    print(resp3.status_code)
    with open(f"./hhls/{n}.ts", "wb+") as f:
        f.write(resp3.content)

 视频下载完成之后 则需要将 ts 文件 合并成MP4 文件 

这时则需要使用到 ffmpeg  

ffmpeg 安装步骤

下载成功后解压即可


 

 执行 合并视频代码

def movie_video():
    filePath = "./hhls"
    # 获取当前文件夹下 使用文件名称
    file_list = os.listdir(filePath)
    print(file_list)
    li = []
    for file in file_list:
        # 字符串截取
        file = file.split(".")[0]
        # 添加进 列表
        li.append(int(file))
        # 列表进行排序
        li.sort()
    ts_file_name = []
    # 循环列表
    for i in li:
        i = str(i) + ".ts"
        # 添加 文件名进入列表
        ts_file_name.append(i)
    #     创建或打开文件 执行写入
    with open("./hhls/file_list.txt", "w+") as f:
        # 循环 文件名列表
        for file in ts_file_name:
            # 循环写入文件
            f.write("file '{}'\n".format(file))
    print("file_list.txt已生成")
    txt_file = "./hhls/file_list.txt"
    mp4 = "./hhls/hhls.mp4"
    # 执行合并命令
    cmd = f"ffmpeg -f concat -i " + txt_file + " -c copy " + mp4
    print(cmd)
    try:
        # 执行命令
        os.system(cmd)
    except Exception as e:
        print(e)
    print("done")

发现报错乱码

 乱码解决方法 在 pycharm 中 修改配置 打开 file 下 settings 中 搜索  file encodings 修改字符集为 GBK 即可

 

 这是由于没有将 ffmpeg 添加到环境变量导致

回到桌面 右键点击此电脑 点击属性  添加系统环境变量 ffmpeg.exe 所在的文件位置即可

 打开cmd 执行命令 ffmpeg -v 查看是否添加成功

添加成功重启 pycharm 编辑器 即可

 重新运行   合并ts文件时报错 

Could not find tag for codec bmp in stream #0, codec not currently supported in container
Could not write header for output file #0 (incorrect codec parameters ?): Invalid argument
Error initializing output stream 0:0 -- 

这种是利用图床来存储视频切片 文件前被增加了BMP的header信息，导致ffmpeg错误地识别为BMP图片，自然不能合并了。 

其实他就是 ts文件，被改成.bmp 后缀，放到图床，达到白嫖图床的目的 

那么如何解决这个问题呢 

使用16进制查看器WinHex 编辑  删除

47  40 11 之前的数据即可  

片段示例

12.ts 文件 16进制数据

删除 bmp头后 执行合并成功

 

png 头部信息 ts片段数据 

常用文件格式十六进制文件头
JPEG (jpg)，文件头：FFD8FF
PNG (png)，文件头：89504E47
GIF (gif)，文件头：47494638
TIFF (tif)，文件头：49492A00
Windows Bitmap (bmp)，文件头：424D
CAD (dwg)，文件头：41433130
Adobe Photoshop (psd)，文件头：38425053
Rich Text Format (rtf)，文件头：7B5C727466
XML (xml)，文件头：3C3F786D6C
HTML (html)，文件头：68746D6C3E
Email [thorough only] (eml)，文件头：44656C69766572792D646174653A
Outlook Express (dbx)，文件头：CFAD12FEC5FD746F
Outlook (pst)，文件头：2142444E
MS Word/Excel (xls.or.doc)，文件头：D0CF11E0
MS Access (mdb)，文件头：5374616E64617264204A
WordPerfect (wpd)，文件头：FF575043
Adobe Acrobat (pdf)，文件头：255044462D312E
Quicken (qdf)，文件头：AC9EBD8F
Windows Password (pwl)，文件头：E3828596
ZIP Archive (zip)，文件头：504B0304
RAR Archive (rar)，文件头：52617221
Wave (wav)，文件头：57415645
AVI (avi)，文件头：41564920
Real Audio (ram)，文件头：2E7261FD
Real Media (rm)，文件头：2E524D46
MPEG (mpg)，文件头：000001BA
MPEG (mpg)，文件头：000001B3
Quicktime (mov)，文件头：6D6F6F76
Windows Media (asf)，文件头：3026B2758E66CF11
MIDI (mid)，文件头：4D546864

 那么问题来了 如何在代码中实现呢

示例：

 # bmp标头文件示例
    f = open(f'./hhls/648.ts','rb')# 二进制读
    # 读取文件流
    a = f.read()# 打印读出来的数据
    # 转换16进制
    hexstr = binascii.b2a_hex(a)
    # 转换成 字符串
    hexstr = hexstr.decode('UTF-8')
    # print(hexstr)
    #判断是否 存在 特定标头
    header = ['FFD8FF','89504E47','47494638','424D']
    for value in header:
        # 搜索 判断16进制内容是否 存在 特定标头
       if hexstr.startswith(value.lower()) :
           # 进行字符串截图
           new_hexstr = hexstr[len(value):]
           # 字符串转为bytes 类型 数据
           new_hexstr = bytes.fromhex(new_hexstr)
           f = open(f'./hhls/648.ts', 'wb') # 二进制写模式
           f.write(new_hexstr) # 二进制写入

成功合成之后

 

发现 视频时长不正确 在命令行 执行合并 发现 482.ts文件 有问题无法合并

打开文件发现文件资源有问题 属于无效文件

 查看网站后发现 网站资源也丢失这一片段

 解决方法 删除 482.ts 文件 重新执行 脚本

或

修改 file_list.txt 删除  file '482.ts' 即可 

 重新执行合并命令

 

 合并ts 资源成功

下载方法 优化 后 

# 下载ts视频 ./hhls 为下载ts视频存放的路径   
def ts_video(n, line):

    headers = {
        'origin' : 'https://xxxxx',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36',
    }
    resp3 = requests.get(headers=headers, url=line)
    print(resp3.status_code)
    with open(f"./hhls/{n}.ts", "wb+") as f:
        f.write(resp3.content)

    # bmp标头文件示例
    f = open(f'./hhls/{n}.ts','rb')# 二进制读
    # 读取文件流
    a = f.read()# 打印读出来的数据
    # 转换16进制
    hexstr = binascii.b2a_hex(a)
    # 转换成 字符串
    hexstr = hexstr.decode('UTF-8')
    # print(hexstr)
    #判断是否 存在 特定标头
    header = ['FFD8FF','89504E47','47494638','424D']
    for value in header:
        # 搜索 判断16进制内容是否 存在 特定标头
       if hexstr.startswith(value.lower()) :
           # 进行字符串截图
           new_hexstr = hexstr[len(value):]
           # 字符串转为bytes 类型 数据
           new_hexstr = bytes.fromhex(new_hexstr)
           f = open(f'./hhls/{n}.ts', 'wb') # 二进制写模式
           f.write(new_hexstr) # 二进制写入
    print(n, "下载完成")

完整代码示例  

示例网站地址：私聊获取

import requests
import os
import binascii
from concurrent.futures import ThreadPoolExecutor

def download_video():
    headers = {
        'origin' : 'xxxxxx',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36',
    }
    # 当前链接只有 几分钟 时效 请去示例网站地址 实时获取
    link = 'xxxxxx'
    resp = requests.get(headers=headers,url=link)
    # print(resp)
    m3u8text = resp.text
    with open("hhls.m3u8", "w") as f:
        f.write(m3u8text)
    print("hhls.m3u8下载完成")



# 采用线程池下载m3u8里的ts
def down_ts():
    # 读取 文件内容
    with open("./hhls.m3u8", "r", encoding="utf-8") as f:
        # n = 0
        # 创建 10 个线程
        with ThreadPoolExecutor(10) as t:
            # 循环 文件内容
            for n, line in enumerate(f):
                line = line.strip()
                # print(line)
                # 判断是否是忽略内容
                if line.startswith("#"):
                    # 是则跳过循环
                    continue
                #     提交线程
                t.submit(ts_video, n, line)


# 下载ts视频 ./hhls 为下载ts视频存放的路径
def ts_video(n, line):

    headers = {
        'origin' : 'xxxxxx',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36',
    }
    resp3 = requests.get(headers=headers, url=line)
    print(resp3.status_code)
    with open(f"./hhls/{n}.ts", "wb+") as f:
        f.write(resp3.content)

    # bmp标头文件示例
    f = open(f'./hhls/{n}.ts','rb')# 二进制读
    # 读取文件流
    a = f.read()# 打印读出来的数据
    # 转换16进制
    hexstr = binascii.b2a_hex(a)
    # 转换成 字符串
    hexstr = hexstr.decode('UTF-8')
    # print(hexstr)
    #判断是否 存在 特定标头
    header = ['FFD8FF','89504E47','47494638','424D']
    for value in header:
        # 搜索 判断16进制内容是否 存在 特定标头
       if hexstr.startswith(value.lower()) :
           # 进行字符串截图
           new_hexstr = hexstr[len(value):]
           # 字符串转为bytes 类型 数据
           new_hexstr = bytes.fromhex(new_hexstr)
           f = open(f'./hhls/{n}.ts', 'wb') # 二进制写模式
           f.write(new_hexstr) # 二进制写入
    print(n, "下载完成")


def movie_video():
    filePath = "./hhls"
    # 获取当前文件夹下 使用文件名称
    file_list = os.listdir(filePath)
    print(file_list)
    li = []
    for file in file_list:
        # 字符串截取
        file = file.split(".")[0]
        # 添加进 列表
        li.append(int(file))
        # 列表进行排序
        li.sort()
    ts_file_name = []
    # 循环列表
    for i in li:
        i = str(i) + ".ts"
        # 添加 文件名进入列表
        ts_file_name.append(i)
    #     创建或打开文件 执行写入
    with open("./hhls/file_list.txt", "w+") as f:
        # 循环 文件名列表
        for file in ts_file_name:
            # 循环写入文件
            f.write("file '{}'\n".format(file))
    print("file_list.txt已生成")
    txt_file = "./hhls/file_list.txt"
    mp4 = "./hhls/hhls.mp4"
    # 执行合并命令
    cmd = f"ffmpeg -f concat -i " + txt_file + " -c copy " + mp4
    print(cmd)
    try:
        # 执行命令
        os.system(cmd)
    except Exception as e:
        print(e)
    print("done")


if __name__ == '__main__':
    download_video()
    down_ts()
    movie_video()

fuchto
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
使用Python批量下载ts格式视频，并合并为mp4格式，非常简单
weixin_68789096的博客
06-16 1674
哈喽大家好 ，今天咱们来实现一下批量下载ts格式文件后，如何合并为MP4视频。
Python批量下载ts视频文件，并用ffmpeg合并
qiuqiuit的专栏
01-08 1万+
现在很多网络视频被切割成无数个小的ts文件，这篇文件主要是讲怎么下载这些小的ts文件，并按播放顺序，将这些文件下载下来，然后合并成单一完整的视频。
【ffmpeg】ffmpeg如何设置header信息亲测
点滴
02-28 5633
从网上搜了一些文章，各式各样的都有，也不知道是不是有效，大部分都是设置ua或者其他某一项的，但是有时候有需要设置多项，这时候就区分不出来那个是正确的那个是错误的，整理下记录下来了，避免后期踩坑 我本地的ffmpeg ffmpeg version 3.3.2 Copyright (c) 2000-2017 the FFmpeg developers 正确写法 ffmpeg -user_agent "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10
Python面试Python基础利用python爬虫通过m3u8文件下载ts视频，全网首发
最新发布
weixin_58085973的博客
04-05 482
现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习。
python通过文件头判断文件类型
09-21
主要介绍了python通过文件头判断文件类型，需要的朋友可以参考下
python 实现多线程下载m3u8格式视频并使用fmmpeg合并
09-18
5. **视频合并**：最后，使用`ffmpeg`工具将所有TS片段合并成一个完整的MP4视频文件。`ffmpeg`是一个强大的音视频处理工具，它可以处理各种格式的音视频文件，包括m3u8和TS。在这个例子中，我们使用`-f concat`选项...
python整合ffmpeg实现视频文件的批量转换
09-19
主要为大家详细介绍了python整合ffmpeg实现视频文件的批量转换，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
Python3 ffmpeg视频转换工具使用方法解析
09-16
首先，要在Windows上使用Python3 ffmpeg，你需要下载并安装ffmpeg。你可以从zeranoe网站获取适用于Windows的预编译版本（例如：https://ffmpeg.zeranoe.com/builds/）。选择Static版本，因为它是一个独立的zip包，不...
Java 使用 FFmpeg 处理视频文件示例代码详解
08-24
主要介绍了Java 使用 FFmpeg 处理视频文件示例代码，代码简单易懂，非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下
c++使用cmake链接ffmpeg并读取视频文件显示出来
04-24
一个简单的通过c++接口调用ffmpeg实现了读取一段视频并通过opencv显示出来，以及写入文档文件中
【python爬虫】爬取网页视频，解析m3u8文件，获取ts并合成mp4
03-02
python爬虫相关： 由于很多网站上的视频只提供在线观看，没有下载入口，故有必要进行网络爬虫获取视频资源。 利用requests获取网页源代码中的m3u8链接，对链接进行逐步解析，获取ts列表，下载所有ts文件，将其合并生成mp4文件。做到对视频的爬取。 同名博文相关代码。
MPEG-2 TS流头文件
01-13
MPEG-2 TS流是当今数字电视的重要码流，因此，此份ts流头文件非常珍贵，经验证，可以作为众多数字电视参考的源码
python判断文件类型
weixin_43693233的博客
08-02 8445
# 支持文件类型 # 用16进制字符串的目的是可以知道文件头是多少字节 # 各种文件头的长度不一样，少半2字符，长则8字符 def typeList(): return { "3c68313ee689abe68f8f": 'html', "504b03040a0000000000": 'xlsx', '504b0304140008080800...
python3通过文件头判断文件类型
privateobject的博客
09-23 2万+
最近，在学习python3中，感觉入门挺简单，毕竟本身是java开发，很多容易理解一些东西。 这几天对文件类型的验证有点想法，就在网上搜索，是找到了很多博客，但是感觉他们很多内容都一样。就复制了一个，在本地跑，结果报错。 网上的源码，因为是python3做了一点修改： import struct # 支持文件类型 # 用16进制字符串的目的是可以知道文件头是多少字节 # 各种文件头
ffmpeg把mp4推rtsp报错：AAC with no global headers is currently not supported.
zhuxian2009的专栏
09-30 1212
【代码】ffmpeg把mp4推rtsp报错：AAC with no global headers is currently not supported.
python 使用 ffmpeg
热门推荐
累兰羽的博客
03-08 12万+
django使用ffmpeg进行视频流的切换 1. 安装ffmpeg sudo add-apt-repository ppa:kirillshkrogalev/ffmpeg-next sudo apt-get update sudo apt-get install ffmpeg 2. 安装ffmpy pip install ffmpy==0.2.2 #需要权...
python下载ts视频文件_网上的TS流视频文件下载，解密，合成一个文件的python方法（转的别人大佬的，自己存一份~~）...
weixin_39876877的博客
12-13 446
1 # -*- coding:utf-8 -*- 2 import os 3 import sys 4 import requests 5 import datetime 6 from Crypto.Cipher import AES 7 from binascii import b2a_hex, a2b_hex 8 9 # reload(sys) 10 # sys.setde...
Python3爬虫通过m3u8文件下载ts视频
人生苦短， 还不用Python？
03-18 9651
什么是m3u8文件 M3U8文件是指UTF-8编码格式的M3U文件。M3U文件是记录了一个索引纯文本文件， 打开它时播放软件并不是播放它，而是根据它的索引找到对应的音视频文件的网络地址进行在线播放。 原视频数据分割为很多个TS流，每个TS流的地址记录在m3u8文件列表中 比如我这里有一个m3u8文件，文件内容如下 #EXTM3U #EXT-X-VERSION:3 #EXT-X-MEDIA...
如何使用Python调用ffmpeg合并TS文件
07-15
你可以使用Python中的`subprocess`模块来调用ffmpeg进行TS文件的合并。下面是一个示例代码： ```python import subprocess def merge_ts_files(input_files, output_file): # 构建ffmpeg的命令 ffmpeg_cmd = ['ffmpeg'] # 添加输入文件列表 for file in input_files: ffmpeg_cmd.extend(['-i', file]) # 设置合并选项 ffmpeg_cmd.extend(['-c', 'copy', '-bsf:a', 'aac_adtstoasc', output_file]) # 调用ffmpeg命令行工具 subprocess.run(ffmpeg_cmd) # 调用示例 input_files = ['file1.ts', 'file2.ts', 'file3.ts'] output_file = 'merged.ts' merge_ts_files(input_files, output_file) ``` 请确保你已经正确安装了ffmpeg，并将其添加到系统的环境变量中。代码中的`input_files`是要合并的TS文件列表，`output_file`是合并后的输出文件名。合并过程中使用了`-c copy`选项来进行流拷贝，以保持原始的音视频编码和质量。`-bsf:a aac_adtstoasc`选项用于修复AAC音频流的问题。 使用以上代码，你可以自定义输入文件和输出文件，然后调用`merge_ts_files`函数来完成TS文件的合并操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

fuchto

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值