海思平台的利用mp4v2库合成mp4原理说明

一.音视频同步的原理

mp4v2内部采用一套时间刻度基准，由我们自己设定，不一定是采用我们常用的1秒有1000个单位（毫秒）。可能是1秒里有90000个单位或80000个单位。音频和视频可以采用不同的时间刻度基准，只是为方便区分，大都采用不同的刻度。

我们在每次向mp4文件写数据时（调用函数 MP4WriteSample ），就需要考虑上一次写数据和这一次写数据之间的时间间隔，把这个间隔换算成mp4v2内部的时间刻度基准间隔值（duration），然后mp4v2按照这个刻度基准间隔值（duration）把这一次数据放在对应的位置上。

例子说明：

用时间戳实时修改mp4v2里的上下帧间隔对应的ticks值。

1.mp4v2库初始化时

 音频使用48000刻度基准，视频使用90000刻度基准。不采用固定帧间隔对应的ticks（duration）。

①H264--视频初始化

MP4AddH264VideoTrack(MP4File, TimeScale, MP4_INVALID_DURATION, width, height, spsBuf[1], spsBuf[2], spsBuf[3], 3);

第二个参数TimeScale的值是90000（也可以是别的值，在计算上下帧对应的ticks值时，需要使用这个刻度基准）。第三个参数值采用MP4_INVALID_DURATION，意思是我们使用变化的ticks，也就是函数MP4WriteSample里的第5个参数。如果帧与帧间隔值比较固定，也可以把第三个参数值写成固定的对应ticks，比如每秒固定有25帧数据，那么第三个参数值可以是：

duration= (1/25)秒/(1/90000) = 36000;

duration = (timestamp-lasttimestamp)/(1/timescale)

②.Audio--音频初始化

MP4AddAudioTrack(MP4File, TIMESCALE,M P4_INVALID_DURATION , MP4_MPEG4_AUDIO_TYPE);

第二个参数TIMESCALE的值是48000（也可以是别的值，在计算上下帧对应的ticks值时，需要使用这个刻度基准。很多人用采样率，虽然是建议，但容易产生概念混淆。这个值我们把它设置成1000都可以）。第三个参数值采用MP4_INVALID_DURATION，同理①。

2.在向mp4文件实时写数据

利用音视频的时间戳间隔换算来变化的ticks。（向文件写的第一帧数据需再优化处理，否则mp4文件无法单个循环播放）。我使用AudioDuration代表音频数据上下帧对应的ticks值；使用VideoDuration代表视频数据上下帧对应的ticks值。

①向mp4文件写的第一帧数据需要注意。

我写第一帧数据的ticks值采用了固定值（随意的经验值）：

vedio 使用 MP4WriteSample(MP4File, VideoId, (const uint8_t *)buf, (int)(pbuf - buf),3600,0,true)；

audio 使用 MP4WriteSample(MP4File, VideoId, (const uint8_t *)buf, (int)(pbuf - buf), 400+VideoDuration,0,true)

②.向mp4文件写其他帧数据时，视频和音频上下帧间隔对应的ticks值使用公式：

Duration = (timestamp-lasttimestamp)/(1/timescale)

二.备注：

①.模数转换，在模拟采样音频的时候，1帧（数据包）音频包含1024（1024是底层硬件进行模数转换时使用的固定值，大都用这个数值）个采样。例如使用48k的音频采样，那么1秒就有48000/1024个帧，约47帧。这些数据包按时间先后顺序和视频数据包安放在一起。所以会发现一包音视频数据中，有1帧视频和2-3帧音频。

而在嵌入式内部对这些数据处理(比如向mp4文件写数据)是一种纯数字化的处理，和采样率关系已经不大。

②. 在使用时间戳实时修改mp4v2里的上下帧间隔对应的ticks值这种方式时，发现在关闭文件时需要等很久才成功、形成可播放的mp4文件（或形成的mp4文件无法播放）。我们可以参照mp4v2库的源码添加打印，依次跟踪，解决问题。

但我发现在移植mp4v2源码到嵌入式海思平台时，修改配置项时使用命令 CC=arm-hisiv100nptl-linux-gcc CXX=arm-hisiv100nptl-linux-g++ ./configure --host=arm-hisiv100nptl-linux --prefix=/usr/local/mp4v2 --disable-option-checking --disable-debug --disable-optimize --disable-fvisibility --disable-gch --disable-largefile --disable-util --disable-dependency-tracking --disable-libtool-lock ，编译生成的库用到设备里，就不会产生无法立刻形成mp4文件问题。具体移植方法参考我另一个博客文章“ mp4v2源码编译并移植到海思平台 ”.

三.其他函数说明

许多函数说明可以参考File.h中的注释解释。

①创建文件时，

tsThis->m_pMP4File = MP4CreateEx(filename,MP4_CREATE_64BIT_DATA,1,1,0,0,0,0);

MP4CreateEx的第二个参数，标记允许文件总大小超过64位的数据。我理解的是，允许单个mp4文件的容量超过2^32KB=4GB。

②关闭文件时，

MP4Close(tsThis->m_pMP4File,MP4_CLOSE_DO_NOT_COMPUTE_BITRATE);

第二个参数，在关闭文件时，不计算整个文件的大小，这样可以更快关闭文件。