使用gpac封装mp4

编译环境：Ubuntu16.04 64位
交叉编译工具：arm-hisiv500-linux-gcc

在我的另一篇博客《使用mp4v2封装MP4》中，发现mp4v2只支持H264封装成MP4，这里使用gpac完成对H265的封装。

1. 交叉编译gpac

下载合适版本的gpac源码，我下载的是0.7.0Release版本的gpac。

./configure --prefix=/home/jerry/work/gpac/gpac.install --cc=arm-hisiv500-linux-gcc --cxx=arm-hisiv500-linux-g++ --extra-cflags=-I/home/jerry/work/gpac/gpac/extra_lib/include/zlib --extra-ldflags=-L/home/jerry/work/gpac/gpac/extra_lib/lib/gcc --use-zlib=local
make

–prefix选项是一个中间目录，gpac库的编译需要依赖zlib库，–extra-cflags选项指定zlib的头文件目录，–extra-ldflags选项指定libz.a所在的的目录。直接将所需要的头文件和交叉编译好的libz.a放到上述目录即可。交叉编译zlib的流程见我的另一篇博客《openssh移植记录》。

编译完成后，生成的文件：

其中，MP4Box等可执行程序支持的功能可以百度。libgpac_static.a是我们所需要的静态库，头文件可以将include下的gpac目录完整拷贝到开发板即可。libz.a也需要拷贝（不需要头文件）。

2. sample代码

2.1 H264的Nalu数据写入

int AF_MP4Writer::WriteH264Nalu(unsigned char **ppNaluData, int *pNaluLength)
{
	m_nTrackID = gf_isom_new_track(m_pFile,0,GF_ISOM_MEDIA_VISUAL,1000);
	gf_isom_set_track_enabled(m_pFile,m_nTrackID,1);
	GF_AVCConfig *pstAVCConfig = gf_odf_avc_cfg_new();
	gf_isom_avc_config_new(m_pFile, m_nTrackID, pstAVCConfig, NULL, NULL, &m_nStreamIndex);
	gf_isom_set_visual_info(m_pFile, m_nTrackID, m_nStreamIndex, m_nWidth, m_nHeight);
	pstAVCConfig->configurationVersion = 1;
	pstAVCConfig->AVCProfileIndication = ppNaluData[AF_NALU_SPS][1];
	pstAVCConfig->profile_compatibility = ppNaluData[AF_NALU_SPS][2];
	pstAVCConfig->AVCLevelIndication = ppNaluData[AF_NALU_SPS][3];
	GF_AVCConfigSlot stAVCConfig[AF_NALU_MAX];
	memset(stAVCConfig, 0, sizeof(stAVCConfig));
	for (int i = 0; i < AF_NALU_MAX; i++)
	{
		if (i == AF_NALU_VPS)
			continue;
		stAVCConfig[i].size = pNaluLength[i];
		stAVCConfig[i].data = (char *)ppNaluData[i];
		if (i == AF_NALU_SPS)
		{
			gf_list_add(pstAVCConfig->sequenceParameterSets, &stAVCConfig[i]);
		}
		else if (i == AF_NALU_PPS)
		{
			gf_list_add(pstAVCConfig->pictureParameterSets, &stAVCConfig[i]);
		}
	}
	gf_isom_avc_config_update(m_pFile, m_nTrackID, 1, pstAVCConfig);
	pstAVCConfig->pictureParameterSets = NULL;
	pstAVCConfig->sequenceParameterSets = NULL;
	gf_odf_avc_cfg_del(pstAVCConfig);
	pstAVCConfig = NULL;
	return 0;
}

2.2 H265的Nalu数据写入

int AF_MP4Writer::WriteH265Nalu(unsigned char **ppNaluData, int *pNaluLength)
{
	m_nTrackID = gf_isom_new_track(m_pFile, 0, GF_ISOM_MEDIA_VISUAL, 1000);
	gf_isom_set_track_enabled(m_pFile, m_nTrackID, 1);
	GF_HEVCConfig *pstHEVCConfig = gf_odf_hevc_cfg_new();
	pstHEVCConfig->nal_unit_size = 4;
	gf_isom_hevc_config_new(m_pFile, m_nTrackID, pstHEVCConfig, NULL, NULL, &m_nStreamIndex);
	gf_isom_set_nalu_extract_mode(m_pFile, m_nTrackID, GF_ISOM_NALU_EXTRACT_INSPECT);
	gf_isom_set_cts_packing(m_pFile, m_nTrackID, GF_TRUE);
	pstHEVCConfig->configurationVersion = 1;
	HEVCState hevc;
	memset(&hevc, 0 ,sizeof(HEVCState));
	GF_AVCConfigSlot stAVCConfig[AF_NALU_MAX];
	memset(stAVCConfig, 0, sizeof(stAVCConfig));
	GF_HEVCParamArray stHEVCNalu[AF_NALU_MAX];
	memset(stHEVCNalu, 0, sizeof(stHEVCNalu));
	int idx = 0;
	for (int i = 0; i < AF_NALU_MAX; i++)
	{
		switch (i)
		{
			case AF_NALU_SPS:
			idx = gf_media_hevc_read_sps((char*)ppNaluData[i], pNaluLength[i], &hevc);
			hevc.sps[idx].crc = gf_crc_32((char*)ppNaluData[i], pNaluLength[i]);
			pstHEVCConfig->profile_space = hevc.sps[idx].ptl.profile_space;
			pstHEVCConfig->tier_flag = hevc.sps[idx].ptl.tier_flag;
			pstHEVCConfig->profile_idc = hevc.sps[idx].ptl.profile_idc;
			break;
			case AF_NALU_PPS:
			idx = gf_media_hevc_read_pps((char*)ppNaluData[i], pNaluLength[i], &hevc);
			hevc.pps[idx].crc = gf_crc_32((char*)ppNaluData[i], pNaluLength[i]);
			break;
			case AF_NALU_VPS:
			idx = gf_media_hevc_read_vps((char*)ppNaluData[i], pNaluLength[i], &hevc);
			hevc.vps[idx].crc = gf_crc_32((char*)ppNaluData[i], pNaluLength[i]);
			pstHEVCConfig->avgFrameRate = hevc.vps[idx].rates[0].avg_pic_rate;
			pstHEVCConfig->constantFrameRate = hevc.vps[idx].rates[0].constand_pic_rate_idc;
			pstHEVCConfig->numTemporalLayers = hevc.vps[idx].max_sub_layers;
			pstHEVCConfig->temporalIdNested = hevc.vps[idx].temporal_id_nesting;
			break;
		}
		stHEVCNalu[i].nalus = gf_list_new();
		gf_list_add(pstHEVCConfig->param_array, &stHEVCNalu[i]);
		stHEVCNalu[i].array_completeness = 1;
		stHEVCNalu[i].type = g_HEVC_NaluMap[i];
		stAVCConfig[i].id = idx;
		stAVCConfig[i].size = pNaluLength[i];
		stAVCConfig[i].data = (char *)ppNaluData[i];
		gf_list_add(stHEVCNalu[i].nalus, &stAVCConfig[i]);
	}
	gf_isom_set_visual_info(m_pFile, m_nTrackID, m_nStreamIndex, hevc.sps[idx].width, hevc.sps[idx].height);
	gf_isom_hevc_config_update(m_pFile, m_nTrackID, 1, pstHEVCConfig);
	for (int i = 0; i < AF_NALU_MAX; i++)
	{
		if (stHEVCNalu[i].nalus)
			gf_list_del(stHEVCNalu[i].nalus);
	}
	pstHEVCConfig->param_array = NULL;
	gf_odf_hevc_cfg_del(pstHEVCConfig);
	pstHEVCConfig = NULL;
	return 0;
}

2.3 数据区的写入

int AF_MP4Writer::WriteFrame(unsigned char *pData, int nSize, bool bKey, long nTimeStamp)
{
	if (m_TimeStamp == -1 && bKey)
	{
		m_TimeStamp = nTimeStamp;
	}
	if (m_TimeStamp != -1)
	{
		GF_ISOSample *pISOSample = gf_isom_sample_new();
		pISOSample->IsRAP = (SAPType)bKey;
		pISOSample->dataLength = nSize;
		pISOSample->data = (char *)pData;
		pISOSample->DTS = nTimeStamp - m_TimeStamp;
		pISOSample->CTS_Offset = 0;
		GF_Err gferr = gf_isom_add_sample(m_pFile, m_nTrackID, m_nStreamIndex, pISOSample);
		if (gferr == -1)
		{
			pISOSample->DTS = nTimeStamp - m_TimeStamp + 1000 / (m_nFps * 2);
			gf_isom_add_sample(m_pFile, m_nTrackID, m_nStreamIndex, pISOSample);
		}
		pISOSample->data = NULL;
		pISOSample->dataLength = 0;
		gf_isom_sample_del(&pISOSample);
		pISOSample = NULL;
	}
	return 0;
}

PS：

int AF_MP4Writer::WriteFrame(unsigned char *pData, int nSize, bool bKey, long nTimeStamp);
// nTimeStamp时间戳可以直接在接口内部获得，不需要传参
// 方式一：实时流的写入，直接使用系统时间即可
struct timeval timeNow;
gettimeofday(&timeNow, NULL);
long long nTimeStamp = timeNow.tv_sec * 1000 + timeNow.tv_usec / 1000;
// 方式二：读取文件等执行快速写入，根据帧率计算
if (m_TimeStamp == -1 && bKey)
{
	m_TimeStamp = 0;
}
//...
pISOSample->DTS = m_TimeStamp;
m_TimeStamp += 1000 / m_stEncInfo.nFps;
//...

PPS：

int AF_MP4Writer::WriteH264(unsigned char *pData, int nSize, bool bKey, long nTimeStamp)
int AF_MP4Writer::WriteH265(unsigned char *pData, int nSize, bool bKey, long nTimeStamp)
// bKey是否关键帧可以直接在接口内部获得，不需要传参
// 先将bKey置为false
// WriteH264在case 0x07: // SPS时置为true
// WriteH265在case 0x20: // VPS时置为true

PPPS：
代码错误：

int AF_MP4Writer::WriteH264(unsigned char *pData, int nSize, bool bKey, long nTimeStamp)
int AF_MP4Writer::WriteH265(unsigned char *pData, int nSize, bool bKey, long nTimeStamp)
//lenIn -= (lenOut - (pOut - pIn));// 修改为
lenIn -= (lenOut + (pOut - pIn));

以上代码，已经在hi3519测试通过，MP4格式录像在多种播放器中均能正常播放。源码点击使用gpac封装MP4源码 下载。

PPPPS：优化部分错误，并新增AAC音频，音频部分未经测试。源码点击使用gpac封装MP4源码(新)下载。

3. MP4文件未正常关闭的修复方案

使用gpac封装MP4文件，未正常关闭，会导致头部的mdat box的长度以及type未写入，以及尾部moov box未写入（包括vps、sps、pps等信息），MP4文件格式参考博客 MP4文件格式分析及分割实现(附源码)。
我们可以在开始录制MP4的同时添加一个idx文件，记录vps、sps、pps信息和编码方式（H264/H265），帧率，时间比例以及对应是否关键帧序列，在MP4正常关闭时可以删除idx文件。
分别读取异常MP4和idx文件，重新写入新的MP4文件。
mdat type字段后可能会接若干占位符，跳过。后续的数据即是N个（帧长度+数据帧）的序列，重新写入数据时需要注意，假设数据为…00 00 00 10 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01…，重新写入时，dataLength=0x10+4=20字节，data为全部的20字节。

转载请注明出处，如有错漏之处，敬请指正。