MP4封装解析

白嫩豆腐

已于 2024-01-16 10:54:45 修改

阅读量988

点赞数 17

文章标签：音视频

于 2024-01-15 21:05:36 首次发布

本文链接：https://blog.csdn.net/qq_28282317/article/details/135610153

版权

本文详细解析了MP4封装格式的内部结构，包括关键节点如ftyp、moov、track，以及关键部分如stts、stss、ctts等的作用。作者还通过实例展示了如何通过这些元素计算视频的时长和播放顺序。

摘要由CSDN通过智能技术生成

前言

MP4封装格式比较常见，但是有些会有问题，下面解析一下具体信息

正文

工具

比较好的是mp4在线工具

MP4主要结构
MP4主要结构类似于树状图。每个节点开头都有8位，前四位记录大小，后四位标记节点类型。根节点一般包含四个字节点（ftyp，free，mdat，moov）。

ftyp（File Type Box）一般在文件的开始位置，描述的文件的版本、兼容协议等。
mdat 多媒体的存储位置
free预留位置，没用
moov 关键信息，记录多媒体轨道和索引信息

moov关键的是track。track节点中包含了tkhd，记录track信息。供播放器显示多媒体信息。media记录关键索引信息，解码器搜寻sample位置。
meida中的mdhd记录识别的总时长，以及时间粒度。供后边分析pts和cts等操作。minf节点中的stbl才是真的记录采样点的位置信息。以及计算方法。
这里有个比较重要的概念。chunk。他是一些编码后的数据，成为一簇。方便管理以及避免错误的干扰
下面解析一个750s的视频，有130个chunk。45008帧数据，

stsd

描述，不重要，

stts

描述数据帧的时间间隔。因为间隔大部分一样，所以是统计信息，

相同时间间隔个数时间间隔（单位是moov-trak-media-mdhd-timescale的信息）

比如一个典型的数据是：

entry_count	1
samples	{“sample_count”:45008,“sample_delta”:1001}

显示当前轨道，所有帧时长是一样的。都是16.683毫秒，帧率是59.94005994005994

而timescale是1/60000.所以总时长是 45008 * 1001 /timescale(60000) = 750.8834 秒。时长应该是 750秒。130个chunk。

stss

entry_count	130
sync_samples.0	1
sync_samples.1	207
sync_samples.2	397
sync_samples.3	713
sync_samples.4	939
sync_samples.5	1139
sync_samples.6	1437

用来记录关键帧。方便快速seek

ctts用来记录视频帧和显示时间的间隔。主要是解决视频向后参考关键帧。音频一般情况下只有一条，

entry_count	2
samples.0	{“sample_count”:1,“composition_offset”:1001}
samples.1	{“sample_count”:32339,“composition_offset”:0}

视频比较复杂：
如下

entry_count	36456
samples.0	{“sample_count”:1,“composition_offset”:1001}
samples.1	{“sample_count”:1,“composition_offset”:3003}
samples.2	{“sample_count”:2,“composition_offset”:0}
samples.3	{“sample_count”:3,“composition_offset”:1001}
samples.4	{“sample_count”:1,“composition_offset”:2002}
samples.5	{“sample_count”:1,“composition_offset”:0}
samples.6	{“sample_count”:1,“composition_offset”:1001}
samples.7	{“sample_count”:1,“composition_offset”:2002}
samples.8	{“sample_count”:1,“composition_offset”:0}
samples.9	{“sample_count”:4,“composition_offset”:1001}
samples.10	{“sample_count”:1,“composition_offset”:2002}

这个sample顺序cts是根据stts来计算的，根据之前分析，则sample则根据顺序排列

index cts dts

1	0	1001
2	1001	4004
3	2002	2002
4	3003	3003
5	4004	5005
6	5005	6006
7	6006	7007
8	7007	9009
9	8008	8008
10	9009	10010
11	10010	12012
13	11011	11011
14	12012	13013

比较明显，第二帧数据，应该在第四个时刻显示，但是第三，和第四帧解码需要第二帧，所以先解码第二帧，根据pts修正显示时刻。

stsc

sample-chunk映射表。

entry_count	61
chunks.0	{“first_chunk”:1,“samples_per_chunk”:206,“sample_description_index”:1}
chunks.1	{“first_chunk”:2,“samples_per_chunk”:190,“sample_description_index”:1}
chunks.2	{“first_chunk”:3,“samples_per_chunk”:316,“sample_description_index”:1}
chunks.59	{“first_chunk”:62,“samples_per_chunk”:420,“sample_description_index”:1}
chunks.60	{“first_chunk”:130,“samples_per_chunk”:458,“sample_description_index”:1}

这是记录chunk 一共130个。每个chunk可能有不同的sample。比如第一个有206 62到 130 的chunk每个里面有458个。

stsz

每个sample的字节大小