音视频编解码：MP4封装格式笔记

一、简介：
MP4封装格式以其跨平台特性而成为当前最常见的媒体封装格式之一。MP4文件由多个box组成，每个box存储不同的信息，且box之间会出现嵌套。MP4的box有很多，但最重要的顶层box主要有如下三个：

ftyp：File Type Box，描述文件遵从的MP4规范与版本
moov：Movie Box，媒体的metadata信息，有且仅有一个
mdat：Media Data Box，存放实际的媒体数据，一般有多个

每个box有两部分组成：box header 和 box body。
box header：box的元数据，比如box type、box size。
box body：box的数据部分，实际存储的内容跟box类型有关，比如mdat中body部分存储的媒体数据。
当box body中嵌套其他box时，这样的box叫做container box。

二、重要的box:

ftyp
mdat
moov
	-mvhd
		-(time_scale):1s包含的时间单位
		-(duration):影片时长，等于最长trak的duration
	-trak
		-tkhd:单个track的metadata
			-(id)：当前track的唯一标识
			-(duration)：当前track的持续时间，FFmpeg忽略了此值
			-(width)：视频宽
			-(height)：视频高
		-mdia:描述当前track的一些信息
			-hdlr:声明当前的track类型
				*vide:视频track
				*soun:音频track
				*m1a :MP2
				*subp/clcp：字幕
			-stbl:媒体数据的索引及时间信息（非常重要）
				-stsd:确认当前trak的format，匹配FFmpeg中的codec_id和codec_type等
			-stts：每个帧的时长
			-stss:该trak中关键帧的个数及序号
			-ctts:记录dts与pts的差值，仅B帧存在的码流才需要
			-stsc:每个chunk的sample数
			-stsz:当前trak包含的sample数
			-stco:chunk在文件中的偏移量
				-chunk_offsets:每个chunk相对于文件整体的偏移量

三、FFmpeg中对MP4相关box的解析：
FFmpeg源码中，解析MP4格式的demuxer是mov，文件所在路径为：

libavformat/mov.c

看一下结构体各成员定义：

const AVInputFormat ff_mov_demuxer = {
    .name           = "mov,mp4,m4a,3gp,3g2,mj2",
    .long_name      = NULL_IF_CONFIG_SMALL("QuickTime / MOV"),
    .priv_class     = &mov_class,
    .priv_data_size = sizeof(MOVContext),
    .extensions     = "mov,mp4,m4a,3gp,3g2,mj2,psp,m4b,ism,ismv,isma,f4v",
    .flags_internal = FF_FMT_INIT_CLEANUP,
    .read_probe     = mov_probe,
    .read_header    = mov_read_header,
    .read_packet    = mov_read_packet,
    .read_close     = mov_read_close,
    .read_seek      = mov_read_seek,
    .flags          = AVFMT_NO_BYTE_SEEK | AVFMT_SEEK_TO_PTS | AVFMT_SHOW_IDS,
};

各个box的解析是在mov_read_header中完成的：

static int mov_read_header(AVFormatContext *s)
{
    MOVContext *mov = s->priv_data;
    AVIOContext *pb = s->pb;
    int j, err;
    /* atmo为box解析中的最小单位 */
    MOVAtom atom = { AV_RL32("root") };
	...
    /* check MOV header */
    do {
        if (mov->moov_retry)
            avio_seek(pb, 0, SEEK_SET);
        /* 读取box中内容，有嵌套的话持续往下读 */
        if ((err = mov_read_default(mov, pb, atom)) < 0) {
            av_log(s, AV_LOG_ERROR, "error reading header\n");
            return err;
        }
    } while ((pb->seekable & AVIO_SEEKABLE_NORMAL) && !mov->found_moov && !mov->moov_retry++);
    if (!mov->found_moov) {	//是否读取完的标志位
        av_log(s, AV_LOG_ERROR, "moov atom not found\n");
        return AVERROR_INVALIDDATA;
    }
	...
}

看一下mov_read_default：

static int mov_read_default(MOVContext *c, AVIOContext *pb, MOVAtom atom)
{
    int64_t total_size = 0;
    MOVAtom a;
    int i;
	/* 记录atom的嵌套层数 */
    if (c->atom_depth > 10) {
        av_log(c->fc, AV_LOG_ERROR, "Atoms too deeply nested\n");
        return AVERROR_INVALIDDATA;
    }
    c->atom_depth ++;

	if (atom.size < 0)
	atom.size = INT64_MAX;
    while (total_size <= atom.size - 8 && !avio_feof(pb)) {
    	/* parse函数指针用于指向各个解析box */
		int (*parse)(MOVContext*, AVIOContext*, MOVAtom) = NULL;
		...
		/* 遍历各个数组，找根据type找到对应的box函数进行解析 */
		for (i = 0; mov_default_parse_table[i].type; i++)
            if (mov_default_parse_table[i].type == a.type) {
                parse = mov_default_parse_table[i].parse;
                break;
            }
        ...
        if (!parse) { /* skip leaf atoms data */
            avio_skip(pb, a.size);
        } else {
			int64_t start_pos = avio_tell(pb);
            int64_t left;
            /* 调用对应的box解析函数 */
            int err = parse(c, pb, a);
            if (err < 0) {
                c->atom_depth --;
                return err;
            }
            ...
		}
		...
	}
	...
}

MP4文件默认的box解析数组为mov_default_parse_table：

static const MOVParseTableEntry mov_default_parse_table[] = {
{ MKTAG('A','C','L','R'), mov_read_aclr },
{ MKTAG('A','P','R','G'), mov_read_avid },
{ MKTAG('A','A','L','P'), mov_read_avid },
{ MKTAG('A','R','E','S'), mov_read_ares },
{ MKTAG('a','v','s','s'), mov_read_avss },
{ MKTAG('a','v','1','C'), mov_read_glbl },	
...
}

四、MP4的box解析工具：
1.mp4info:

方便获取一些box的基本信息，但无法完全显示box中一些关键信息。

2.MP4 exploer:

会比较详细的列出每个box的关键信息，有助于我们分析码流，下载地址。

五、MP4的一些常见问题分析：
1.Samba等共享访问时起播时间较长：
这个主要是因为记录metadata的box-moov在文件末尾的，需要将整个片源都下载下来之后才会获取metadata，解析出解码相关信息。

这种问题的解决方案为将moov移动到片源开始位置，对于本地片源，可以使用FFmpeg进行转码：

ffmpeg -i xxx.mp4 -codec copy -movflags faststart output.mp4

对于短视频类，建议在上传的时候统一进行moov的位移，如抖音等，对于线上moov已经在文件末尾的码流，可以考虑使用云端转码，以实现秒起播。