多媒体文件格式之MP4

[时间：2016-06] [状态：Open]

学习多媒体容器格式的目的

主要是为了回答以下问题：

1. 该容器中数据是如何组织的？
2. 该容器包含哪些编码格式的数据？这些数据是如何存储的？
3. 该容器包含哪些元数据信息？包含哪些节目信息？
4. 对于支持多节目的容器格式，如何找到对应的音频流、视频流、字幕流？
5. 如何确定该容器的节目播放时长？
6. 如何从该容器中提取音频、视频、字幕数据，并交给解码器解码，有时间戳否？
7. 该容器是否支持seek？有哪些辅助信息？
8. 是否支持直接流化？
9. 哪里可以找到该容器格式最标准的文档资料？
10. 有哪些可用的工具，方便分析容器格式异常或者错误？

1. MP4文件内部结构

MP4文件是有多个box嵌套构成的，所有数据都必须保存在box中，而且必须包含一个File Type box。

box的定义

其基本存储结构box（或者atom），其定义如下：

==========
BoxHeader
----------
BoxData
==========

其中BoxHeader定义如下：

Field name	Type	Size(bits)
box size	uint32	32
box type	uint32	32
largesize	uint64	0/64
usertype	uint8[16]	0/128

其中box size为1时，表示largesize域存在，size为0时，表示该box持续到文件结尾；box长度是64位无符号整数。当box type是"uuid"时，usertype域存在，表示自定义的box。
在解析时，可以忽略所有无法识别的box。
还有一种FullBox，作为Box的扩展，仅在header中添加了以下两个字段：

Field name	Type	Size(bits)
boxHeader	-	-
version	uint8	8
flag	uint24	24

在解析时可以忽略所有无法识别的version。

MP4顶部视图

MP4文件的整体结构如下：

表1 MP4 file structure
ftyp	-	file type and compatbility
pdin	-	progressive download info
moov	-	container for all the metadata
-	mvhd	movie header, overall declarations
-	meta	metadata
-	trak	container for an individual track or stream
-	mvex	movie extends box
moof	-	movie fragement
-	mfhd	movie fragement header
-	meta	metadata
-	traf	track fragement
mfra	-	movie fragement random access
-	tfra	track fragment random access
-	mfro	movie fragment random access offset
mdat	-	movie data container
free	-	free space
skip	-	free space
-	udta	user-data
meta	-	metadata
-	hdlr	handler, declares the metadata(handler) type
-	dinf	data infomation box, container
-	iloc	item location
-	ipro	item protection
-	iinf	item inforamtion
-	xml	XML container
-	bxml	binary XML container
-	pitm	primary item reference
-	fiin	file delivery item information
-	idat	item data
-	iref	item reference
meco	-	additional metadata container
-	mere	metabox relation
styp	-	segment type
sidx	-	segment index
ssix	-	subsegment index
prft	-	producer reference time

Box是可以相互嵌套的。上面表格中加黑的box类型是比较常见的，需要重点关注下。这个表中也仅给出了box的第二层嵌套关系。更详细的建议参考标准文档的6.2节。
从表1中可以看出movie数据是存储在mdat box中，但是如何解析这个box需要参考moov box。
接下来的部分也主要是与moov box解析有关。

2. Movie Structure（'moov' box）

Movie Box在mp4文件中有且仅有一个。

Movie Header Box

Movie Header Box包含在Movie Structure Box中，通常包含媒体无关的信息，比如说播放时长、创建时间等。它是FullBox("mvhd")
其结构定义如下：

Field name	Type	Size(bits)
FullBoxHeader	-	-
creation time	uint32/uint64	32/64
modify time	uint32/uint64	32/64
timescale	uint32	32
duration	uint32/uint64	32/64
rate	uint32	32
volume	uint16	16
reserved	uint8	80
matrix	uint32[9]	9*32
pre_defined	uint32[6]	6*32
next_track_ID	uint32	32

对于version为1时，上面表格中选择数据类型为uint64，对于version为0时，选择类型为uint32。
这里解释下，timescale表示单位时间内的精度，即1秒内经过的时间单位计数；举个例子，正常的时间系统里以毫秒为单位，timescale就是1000。
duration中记录的是最长的track的播放长度。rate是16.16的格式，表示优先选择的播放速度，比如ox00010000表示1.0的播放速度。volume是浮点数的8.8的格式，表示优先选择的播放音量，0x0100表示1.0的音量大小。next_track_ID主要用于添加新的track，通常会大约当前文件最大track-ID。

Track Structure（'trak' box）

一个mp4文件至少包含一个media trak box，不同的Track box是相互独立的。每个track box都携带独立的时域空域信息，同时包含相关的media box。track box有两种：media track和hint track，前者用于保存media相关信息，后者包含用于流媒体的打包信息。
track box包含的sub-box如下：

'trak' box
tkhd	---	track header, overall info about the track
tref	---	track reference container
trgr	---	track grouping indication
edts	---	edit list container
---	elst	an edit list
meta	---	metadata
mdia	---	container for the media info in a track
---	mdhd	media header,overall info about the media
---	hdlr	handler,说明媒体类型
---	elng	extended language tag
---	minf	media info container
---	udat	user-data

.1 track header box（'tkhd'）

这里边有一个字段，track_ID，用于唯一的表示当前track。
另一个字段，duration，用于记录当前track的播放长度。

.2 track media box（'mdia'）

track media box包含用于声明当前track信息的所有对象。以下sub-box需要关注：

• handler box（'hdlr'）
  可获取track类型信息，主要是有字段handler_type(uint32_t)区分，具体含义如下：
  • 'vide' Video track
  • 'soun' Audio track
  • 'hint' Hint track

.3 media infomation box ('minf')

先看看media infomation box的构成，如下表：

minf
vmhd	---	video media header(video track only)
smhd	---	audio media header(audio track only)
hmhd	---	hint media header(hint track only)
sthd	---	subtitle media header(subtitle track only)
nmhd	---	null media header(some tracks only)
dinf	---	data info box, container
---	dref	data reference box, declare source of media data
stbl	---	sample table box, container for time/space map
---	stsd	sample descriptions(codec types, initialization etc.)
---	stts	decoding time-to-sample
---	ctts	composition time-to-sample
---	cslg	composition to decode timeline mapping
---	stsc	sample-to-chunk, partial data-offset info
---	stsz	sample sizes(framing)
---	stz2	compact sample sizes(framing)
---	stco	chunk offset, partial data-offset info
---	co64	64-bit chunk offset
---	stss	sync sample table
---	stsh	shadow sync sample table
---	padb	sample padding bits
---	stdp	sample degradation priority
---	sdtp	independent and disposable samples
---	sbgp	sample-to-group
---	sgpd	sample group description
---	subs	sub-sample information
---	saiz	sample auxiliary information sizes
---	saio	sample auxiliary information offsets

'minf' box中的header box是根据'hdlr' box中媒体类型一致的，只能出现一个。

.4 Sample Tables('stbl')

可以说stbl box是mp4中最复杂，包含媒体信息最多的box。主要包含时间和media samples的数据映射表，使用这部分数据可以按照时间检索sample的位置、类型、大小、实际偏移位置。

• sample description box （'stsd'）
  主要描述当前track有关的编码信息，以及用于初始化解码的附加信息。
• Time to Sample box（'stts' 'ctts'）
  比较常见的'stts' box，decoding time to sample，通过这个box可以实现时间到sample number的映射。
• sync sample box（'stss'）
  这个box提供了可以用于同步的sample索引号，并严格按照sample number递增顺序排列。如果不存在这个box，表示所有sample都是可以用于同步。对视频而言，sync sample通常指的关键帧。
• sample size box（'stsz' 'stz2'）
  这个box记录每个sample的大小。'stsz' box存储格式如下：

Filed name	type	Size(bits)
FullBox Header	---	---
sample_size	uint32	32
sample_count	uint32	32
entry_size	uint32[]	varies

sample_size中表示sample长度，如果是0表示每个sample长度不定，会记录在entry_size中；否则每个sample长度一样，并且entry_size域不存在。
'stz2' box中的entry_size是compact的，长度由特定字段指定。

• sample to chunk box（'stsc'）
  'stsc' box中记录了每个chunk中包含多少sample，其结构定义如下：

Filed name	type	Size(bits)
FullBox Header	---	---
entry_cout	uint32	32
chunk_entry	uint32[3]	varies

chunk_entry包含三个字段：
first_chunk: uint32
samples_per_chunk: uint32
sample_description_index: uint32

每个entry表示从first_chunk开始的每个chunk都包含samples_per_chunk个samples，这些sample都可以用使用sample_description_index信息解码。

通过这个box，可以构建出当前track的chunk结构，及其包含的sample。

• chunk offset box（'stco' 'co64'）
  这个box记录了chunk对应的offset，只是包含字段一个是32为（'stco'），一个是64位（'co64'）。
  chunk offset box中记录都是相对文件的偏移量，可以直接通过这些信息读取。

Track Structure小结

由于'mdat' box中的多媒体数据是没有结构的，只能参考moov的trak box解析。反过头来。我们看一下针对单个track中的media信息存储应该是下面的结构：
|chunk #0| chunk#1| ... | chunk #n|
每个chunk的构成是下面的结构：
|sample #0|sample #1| ... | sample #n|
从trak box中的minf中可以看出，每个chunk的长度不定，其所包含的sample数目不同，每个sample的长度也不完全相同。

3. mp4中的节目信息有哪些？ 如何获取？

每个'trak' box表示一个media，其类型记录在stsd中，对于视频，其中包括我们最关心的宽高信息、编码器，保存在VisualSampleEntry；对于音频，其中也包括采样率、声道数、编码方式等，这些信息保存在AudioSampleEntry或AudioSampleEntryV1中。

对于单节目的mp4文件，不需要选择流。从标准上来看'tkhd'中有一个字段alternate_group，估计这个是表示选择节目的一个标志。

4. 如何实现seek？

第2部分介绍moov的结构时，里面有很多信息是跟seek相关的，比如time-sample映射。那么为了实现seek到指定时间，在mp4中需要做如下工作：

1. 使用timescale将目标时间标准化。
2. 通过time-to-sample box找到指定track的给定时间之前的第一个sample number。
3. 通过sync sample table查询sample number之前的第一个sync sample。
4. 通过sample-to-chunk table查找到对应的chunk number。
5. 通过chunk offset box查找到对应chunk在文件中的起始偏移量。
6. 最后使用sample-to-chunk box和sample size box的信息计算出该chunk中需要读取的sample数据，即完成seek。

当然标准中还有关于edit list box的使用，这里多数情况下不涉及，所以不做额外介绍。

5. 其他问题

这里解释下上面没有涉及的问题。

该容器包含哪些元数据信息？包含哪些节目信息？

MP4中包含'meta' box，从中可以解析出需要的metadata，具体建议参考标准。

是否支持直接流化？

mp4支持流化，直接通过特定协议及hint track完成。后续会有介绍。

哪里可以找到该容器格式最标准的文档资料？

标准文档的全称是"ISO/IEC 14496-12：ISO base media file format"（c068960_ISO_IEC_14496-12_2015）。
我是从ISO.org的以下地址下载：http://www.iso.org/iso/home/store/catalogue_ics/catalogue_detail_ics.htm?csnumber=61988。

有哪些可用的工具，方便分析容器格式异常或者错误？

比较经典的工具是mp4info或者elecard streameye，但是如果对mp4熟悉了的话，直接二进制查看还是不错的。

总结

本文主要是关于mp4文件解析的介绍，是我第一次深入的了解mp4文件格式，虽然可用的测试文件不是很多，但是足够理解文件结构了。
本文内容主要作为我个人后续分析mp4文件的参考。

参考资料

1. "ISO/IEC 14496-12：ISO base media file format"（c068960_ISO_IEC_14496-12_2015）。
2. MP4文件格式解析
3. http://blog.chinaunix.net/uid-20758197-id-5056943.html

转载于:https://www.cnblogs.com/tocy/p/media_container_3_mp4.html