MP4文件格式分析及分割实现(附源码)

最新推荐文章于 2022-11-13 21:30:36 发布
最新推荐文章于 2022-11-13 21:30:36 发布
阅读量1.5k 收藏 6
点赞数
分类专栏： 流媒体 文章标签： MP4

MP4文件格式分析及分割实现(附源码)

　　　　　　　　　　　　　MP4文件格式分析                  

　　MP4(MPEG-4 Part 14)是一种常见的多媒体容器格式，它是在“ISO/IEC 14496-14”标准文件中定义的，属于MPEG-4的一部分，是“ISO/IEC 14496-12(MPEG-4 Part 12 ISO base media file format)”标准中所定义的媒体格式的一种实现，后者定义了一种通用的媒体文件结构标准。MP4是一种描述较为全面的容器格式，被认为可以在其中嵌入任何形式的数据，各种编码的视频、音频等都不在话下，不过我们常见的大部分的MP4文件存放的AVC(H.264)或MPEG-4(Part 2)编码的视频和AAC编码的音频。MP4格式的官方文件后缀名是“.mp4”，还有其他的以mp4为基础进行的扩展或者是缩水版本的格式，包括：M4V,3GP,F4V等。

 

　　一个mp4文件有可能包含非常多的box(全部大约70多个)，在很大程度上增加了解析的复杂性。如果要全部解析必要性不是很大。大部分mp4文件没有那么多的box类型，下图就是一个简化了的，常见的mp4文件结构：

下图是节点box详细说明：

下面我们将对以上主要box的解析进行详细说明：

1. 一级box

　　一级box主要包含ftyp、moov、free、mdat等等。

1.1 ftyp box

结构：

/********************************************************************************************
**                            File Type Box (ftyp)
**
--------------------------------------------------------------------------------------------
**        字段名称            　　|    长度(bytes)   |        有关描述
--------------------------------------------------------------------------------------------
**        boxsize               |    4            |        box的长度
**        boxtype               |    4            |        box的类型
**        major_brand           |    4            |
**        minor_version         |    4            |        版本号
**        compatible_brands     |    4 * N        |        本文件遵从的多种协议（ismo, iso2, mp41）
********************************************************************************************/

运行结果：

1.2 moov box

结构：

/********************************************************************************************
**        字段名称            |    长度(bytes)   |        有关描述
--------------------------------------------------------------------------------------------
**        boxsize            |    4            |        box的长度
**        boxtype            |    4            |        box的类型
********************************************************************************************/

1.3 free box

结构：

/********************************************************************************************
**        字段名称            |    长度(bytes)   |        有关描述
--------------------------------------------------------------------------------------------
**        boxsize            |    4            |        box的长度
**        boxtype            |    4            |        box的类型
********************************************************************************************/

1.4 mdat box

结构：

/********************************************************************************************
**        字段名称             |    长度(bytes)    |        有关描述
--------------------------------------------------------------------------------------------
**        boxsize             |    4             |        box的长度
**        boxtype             |    4             |        box的类型
**                                               |        后面全是真实数据
********************************************************************************************/

运行结果：

2. 二级box

　　本节所说的二级box皆为moov的子box,主要包含mvhd、trak、udat等等。

2.1 mvhd box

结构：

/************************************************************************************************************
**                                            mvhd
**
--------------------------------------------------------------------------------------------
**        字段名称            　　|    长度(bytes)   |        有关描述
--------------------------------------------------------------------------------------------
**        boxsize               |    4            |        box的长度
**        boxtype               |    4            |        box的类型
**        version               |    1            |        box版本，0或1，一般为0（以下字节数均按version = 0）
**        flags                 |    3            |        
**        creation time         |    4            |        创建时间（相对于UTC时间1904 - 01 - 01零点的秒数）
**        modification time     |    4            |        修改时间
**        time scale            |    4            |        文件媒体在1秒时间内的刻度值，可以理解为1秒长度的时间单元数
**        duration              |    4            |        该track的时间长度，用duration和time scale值可以计算track时长
**        rate                  |    4            |        推荐播放速率，高16位和低16位分别为小数点整数部分和小数部分，即[16.16] 格式.该值为1.0 (0x00010000)
**        volume                |    2            |        与rate类似，[8.8] 格式，1.0（0x0100）表示最大音量
**        reserved              |    10           |        保留位
**        matrix                |    36           |        视频变换矩阵
**        pre-defined           |    24           |        
**        next track id         |    4            |        下一个track使用的id号
************************************************************************************************************/

运行结果：

2.2 trak box

结构：

/********************************************************************************************
**        字段名称            |    长度(bytes)   |        有关描述
--------------------------------------------------------------------------------------------
**        boxsize            |    4            |        box的长度
**        boxtype            |    4            |        box的类型
********************************************************************************************/

2.3 udat box

结构：

/************************************************************************************************************
**           udat
**
--------------------------------------------------------------------------------------------
**  字段名称      | 长度(bytes)    |  有关描述
--------------------------------------------------------------------------------------------
**  boxsize    　| 4　　　　　　　　|  box的长度
**  boxtype      | 4　　　　　　　　|  box的类型
**                  　　　　　　　　|  用户自定义数据解析
************************************************************************************************************/

运行结果：

3. 三级box

　　本节所说的三级box皆为trak的子box,主要包含tkhd、mdia等。

3.1 tkhd box

结构：

/************************************************************************************************************
**                                        tkhd
**
-------------------------------------------------------------------------------------------------------------
**        字段名称            　　 |    长度(bytes)   |        有关描述
-------------------------------------------------------------------------------------------------------------
**        boxsize                |    4            |        box的长度
**        boxtype                |    4            |        box的类型
**        version                |    1            |        box版本，0或1，一般为0。（以下字节数均按version = 0）
**        flags                  |    3            |        按位或操作结果值，预定义如下;
                                                    　　　　 0x000001 track_enabled，否则该track不被播放；
                                                    　　　　 0x000002 track_in_movie，表示该track在播放中被引用；
                                                    　　　　 0x000004 track_in_preview，表示该track在预览时被引用。
                                                    　　　　 一般该值为7，如果一个媒体所有track均未设置track_in_movie和track_in_preview,将被理解为所有track均设置了这两项;
                                                    　　　　 对于hint track，该值为0;
**        creation_time          |    4            |        创建时间（相对于UTC时间1904 - 01 - 01零点的秒数）
**        modification_time      |    4            |        修改时间
**        track_id               |    4            |        id号 不能重复且不能为0
**        reserved               |    4            |        保留位
**        duration               |    4            |        track的时间长度
**        reserved               |    8            |        保留位
**        layer                  |    2            |        视频层，默认为0，值小的在上层
**        alternate_group        |    2            |        track分组信息，默认为0表示该track未与其他track有群组关系
**        volume                 |    2            |        [8.8] 格式，如果为音频track，1.0（0x0100）表示最大音量；否则为0
**        reserved               |    2            |        保留位
**        matrix                 |    36           |        视频变换矩阵
**        width                  |    4            |        宽
**        height                 |    4            |        高，均为[16.16] 格式值 与sample描述中的实际画面大小比值，用于播放时的展示宽高
************************************************************************************************************/

运行结果：

3.2 mdia box

结构：

/********************************************************************************************
**        字段名称            |    长度(bytes)   |        有关描述
--------------------------------------------------------------------------------------------
**        boxsize            |    4            |        box的长度
**        boxtype            |    4            |        box的类型
********************************************************************************************/

4. 四级box

　　本节所说的四级box皆为mdia的子box,主要包含mdhd、hdlr、minf等。

4.1 mdhd box

结构：

/************************************************************************************************************
**                                        tkhd
**
-------------------------------------------------------------------------------------------------------------
**        字段名称            　　|　　    长度(bytes)　　　|        有关描述
-------------------------------------------------------------------------------------------------------------
**        boxsize               |    4            　　  |        box的长度
**        boxtype               |    4            　　  |        box的类型
**        version               |    1　　　　　　　　　  |        box版本0或1 一般为0 (以下字节数均按version=0)
**        flags                 |    3            　　  |        
**        creation_time         |    4            　　  |        创建时间（相对于UTC时间1904 - 01 - 01零点的秒数）
**        modification_time     |    4            　　  |        修改时间
**        time_scale            |    4            　　  |        
**        duration              |    4            　　　|        track的时间长度
**        language              |    2            　　　|        媒体语言码,最高位为0 后面15位为3个字符[见ISO 639-2/T标准中定义]
**        pre-defined           |    2            　　  |        保留位
************************************************************************************************************/

结果：

4.2 hdlr box

结构：

/************************************************************************************************************
**                                        hdlr
**
-------------------------------------------------------------------------------------------------------------
**        字段名称            　　 |    长度(bytes)    |        有关描述
-------------------------------------------------------------------------------------------------------------
**        boxsize                |    4             |        box的长度
**        boxtype                |    4             |        box的类型
**        version                |    1             |        box版本0或1 一般为0 (以下字节数均按version=0)
**        flags                  |    3             |
**        pre-defined            |    4             |
**        handler type           |    4             |        在media box中，该值为4个字符
                                                    　　　　　　"vide"— video track
                                                    　　　　　　"soun"— audio track
                                                    　　　　　　"hint"— hint track
**        reserved               |    12            |
**        name                   |    不定           |        track type name，以‘\0’结尾的字符串
************************************************************************************************************/

结果：

4.3 minf box

结构：

/********************************************************************************************
**        字段名称            |    长度(bytes)   |        有关描述
--------------------------------------------------------------------------------------------
**        boxsize            |    4            |        box的长度
**        boxtype            |    4            |        box的类型
********************************************************************************************/

5. 五级box

　　本节所说的五级box皆为minf的子box,主要包含header box(vmhd/smhd/hmld/nmld)、stbl等。

5.1 header box

本处的headerbox会根据前面的handler type数值选择哪个box。 

"vide"—vmhd 视频

"soun"— smhd 音频

"hint"—hmhd 忽略

vmhd结构：

/************************************************************************************************************
**                                        vmhd
**
-------------------------------------------------------------------------------------------------------------
**        字段名称            |    长度(bytes)    |        有关描述
-------------------------------------------------------------------------------------------------------------
**        boxsize                |    4            |        box的长度
**        boxtype                |    4            |        box的类型
**        version                |    1            |        box版本0或1 一般为0 (以下字节数均按version=0)
**        flags                |    3            |
**        graphics_mode        |    4            |        视频合成模式，为0时拷贝原始图像，否则与opcolor进行合成
**        opcolor                |    2 ×3        |        ｛red，green，blue｝
************************************************************************************************************/

结果：

5.2 stbl box

结构：

/********************************************************************************************
**        字段名称            |    长度(bytes)   |        有关描述
--------------------------------------------------------------------------------------------
**        boxsize            |    4            |        box的长度
**        boxtype            |    4            |        box的类型
********************************************************************************************/

6. 六级box

　　本节所说的六级box皆为stbl的子box,主要包含stsd、stts、stsz、stsc、stss、stco等，这些也是mp4文件设计的精髓所在，主要控制chunk、sample、mdat之间的映射关系。

6.1 stsd box

stsd： Sample Description Box，解析stsd可获得coding类型、视频宽高、音频samplesize、channelcount这些和解码器有关信息。

6.2 stts box

stts： Decoding Time to Sample Box，时间戳和Sample映射表

上图是一个video trak，说明该视频包含87帧数据，每帧包含512个采样。

总共512*87=44544个采样，和我们前面mdhd box的Duration完全一致。

Duration / TimeScale = 44544 / 12288 = 3.625秒 正是我们的视频播放长度。

12288 / 512 = 24 p/s (帧率)。

6.3 stsz box

stsz, stz2： Sample Size Boxes，每个Sample大小的表

一共87帧 每帧的字节大小。

6.4 stsc box

stsc： Sample to chunk 的映射表。

前面说了一共87帧数据，放在83个chunk中。1~82个chunk每个里面放1帧，第83个chunk放了5帧。

6.5 stss box

stss： 关键帧索引表。

第1、13、25、37、49、61、73、85.... 这些帧都是关键帧。

每12帧就有一个关键帧， 前面我们计算得知fps是24。由此可知该视频关键帧间隔为0.5秒。

6.6 stco box

'stco'，'co64'： Chunk位置偏移表

一共83个chunk，记录在mdat真实数据中的字节偏移量。

 

下图为第三方MP4文件解析结果：

 

 

MP4文件格式解析源码：https://github.com/kingsunc/AVFileParse

 

搞清楚stbl的映射关系后 我们就可以进行MP4文件的分割实现（也就是所谓的点播拖动）。

MP4分割实现源码：https://github.com/kingsunc/AVFileParse/tree/master/Mp4_Segment

 

 

LiaoJunXiong
关注
专栏目录
Yolo v11目标检测实战1：对象分割和人流跟踪（附源码）
数据饕餮
10-02 765
通过上述步骤，你应该能够成功地安装 YOLO11 并设置好开发环境。一旦安装完成，你就可以开始探索 YOLO11 的强大功能，包括目标检测、对象分割和多目标跟踪。如果有任何疑问或遇到问题，查阅官方文档或社区支持通常是很好的起点。祝你在使用 YOLO11 的过程中取得成功！
YOLOv11目标检测实战2：人流统计、车流统计和跟踪（附源码）
最新发布
数据饕餮
10-02 839
通过上述步骤，我们已经介绍了如何使用 YOLOv11 进行人流统计、车流统计和多目标跟踪。YOLOv11 的高效性和准确性使其成为这些任务的理想选择。希望这篇博客能够帮助读者更好地理解和应用 YOLOv11 在实际项目中的强大功能。如果你有任何问题或建议，欢迎留言交流！
标准mp4文件格式详细解析
01-03
本文详细描述了标准mp4的文件格式，本人主要用来研究怎么将H264数据封装成标准的MP4
MP4格式详解
weixin_39399492的博客
11-13 1万+
mp4结构分析
MP4文件格式解析（结合实例分析）
qq_45186086的博客
12-02 7950
系列文章目录 MP4文件解析 文章目录系列文章目录前言一、MP4文件的构成二、MP4文件内部结构1.基本结构2.整体结构三、结合实例详解1、File Type Box(ftyp)2、Movie Box(moov)总结 前言 最近在做的项目需要了解MP4的格式，于是就学习了一番，这里记录一下所学的知识。我们都知道MP4是一套用于音频、视频信息的压缩编码标准，也是我们日常生活中遇到最多的一种视频格式，最开始MP4指的是音频（MP3的升级版），即MPEG-2 AAC标准。随后MP4概念被转移到视频上，对应的
MP4文件格式解析
lxmnet123的专栏
08-31 7445
一、概述         MP4文件格式中，所有的内容存在一个称为movie的容器中。一个movie可以由多个tracks组成。每个track就是一个随时间变化的媒体序列，例如，视频帧序列。track里的每个时间单位是一个sample，它可以是一帧视频，或者音频。sample按照时间顺序排列。注意，一帧音频可以分解成多个音频sample，所以音频一般用sample作为单位，而不用帧。MP4文件格
mp4文件格式解析（一）
wuliqunaowuliqunao的专栏
10-08 528
O(∩_∩)O~好文 原文地址：mp4文件格式解析（一）作者：可下人间 原文网址： http://blog.sina.com.cn/s/blog_48f93b530100jz4b.html     目前MP4的概念被炒得很火，也很乱。最开始MP4指的是音频（MP3的升级版），即MPEG-2 AAC标准。随后MP4概念被转移到视频上，对应的是MPEG-4标准。而现在我们流行的叫
MP4文件格式详解
10-24
MP4文件格式中文详解，MP4文件中的所有数据都装在box，也就是说MP4文件由若干个box组成，每个box有类型和长度，可以将box理解为一个数据对象块。
MP4格式解析工具
06-03
win32控制台程序，MP4格式文件解析显示，学习分析文件结构，提取h264裸流，详情和使用说明移步：https://blog.csdn.net/u013752202
mp4文件格式解析
09-17
mp4文件格式祥解，方便大家了解常见的文件格式的了解
全网目前最全python例子（附源码）
热门推荐
不想当码农的程序员
12-30 7万+
源码 https://github.com/javanan/python-small-examples 告别枯燥，60秒学会一个小例子，系统学习Python，从入门到大师。Python之路已有190个例子： 第零章：感受Python之美 第一章：Python基础 第二章：Python之坑 第三章：Python字符串和正则 第四章：Python文件 第五章：Python日期 第六章：Python利器...
ios平台实现视频H264硬编码及软编码(附完整demo)
weixin_33908217的博客
06-19 2427
概述 上篇文章我们学习了视频的相关概念及h264编解码的流程，这篇文章我们主要是做代码实现，其内容概要如下： 利用VideoToolBox对实时视频做h264硬编码 ffmpeg 在mac平台安装ffmpeg 简单常用的ffmpeg命令 如何在mac平台编译出ios开发所用的ffmpeg库以及环境搭建 简单介绍ffmpeg库 利用ffmpeg对实时视频做h264软编码 示例代码： h2...
【数据压缩】MP4文件格式分析
alexgcz的博客
03-15 707
预设问题：什么是MP4，MP4的封装格式是什么？该容器包含哪些元数据信息？包含哪些节目信息？如何从该容器中提取音频、视频、字幕数据，并交给解码器 解码，有时间戳否？通过什么方式保证同步？ MP4指的是音频，即MPEG-2 AAC标准下对MP3的一种升级。但随着时间变化，MP4逐渐转移到目前的视频内容上，以MPEG-4为标准。MP4文件封装格式标准为ISO/IEC 14496-12。一般ISISO/IEC组织指定的标准用数字来表述，即为ISO/IEC 14496即MPEG-4标准。 MP4视频文件封装
MP4视频格式解析
QQ135102692的博客
06-06 8632
MP4视频格式解析
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值