海思HI35xx平台软件开发快速入门之H264解码实例

前言

  H264视频编码技术诞生于2003年,至今已有十余载,技术相当成熟,它的优势在于有高的视频的压缩率,利用帧间和帧内预测(Estimation)、变换(Transform)和反变换、量化(Quantization)和反量化、环路滤波(Loop Filter)、熵编码(Entropy Coding)等视频编码技术,可以实现高质量、低码率的视频流编码。H.264提供了网络抽象层NALU(Network Abstraction Layer)概念对编码出来的视频码流进一步格式封装,使得H.264的文件能容易地在不同网络上传输,以达到低带宽占用、低播放延时的目的。相信在未来几年H.264仍是视频编码的主流技术,尽管在2013年提出了H.265新一代视频编码技术,但是H265的压缩率仅仅提高40%,复杂程度却提升%50以上,这对硬件性能提出新的要求。本文讲述如何在海思HI35xx平台上实现H.264解码。

背景知识

  先来弄清楚视频格式和视频编码的相互关系,视频格式可以理解为一个容器,它将编码器生成的多媒体内容(视频,音频,字幕,章节信息等)混合封装在一起的标准,这样就能很好处理视频、音频、字幕的播放同步问题,常见的视频格式有mp4、avi、flv、rmvb、mkv等等。视频编码属于后处理技术,它其实是非必须的,但是从摄像机采集出来的数据十分庞大,不适合网络传输和存储,故需要对视频进行编码压缩,以达到低码率、高成像质量的目的,常见的视频编码技术有h.263,h.264,mpeg-4。接下来我们了解一下海思HIMPP平台解码的概念,HIMPP平台音视频编解码架构遵循下图所示的数据处理流程。H264解码实例走的是HARD DISK->VDEC->VPSS->VO->显示器的流程,这个流程一定要熟悉牢记,代码实现都是围绕这条主线来编写的。


H264解码实例

  实例源码很简单,先来了解一下实现H.264解码实例的几个函数,以达到了解实例源码大概构造组成,然后再对每个函数进行具体分析。

/*
**函数描述:linux标准信号捕捉函数
**函数功用:接收Ctrl+C信号,用来退出程序,并销毁HIMPP调用
*/
HI_VOID SAMPLE_VDEC_HandleSig(HI_S32 signo)
{
		......
}
/*
**函数描述:用于音视频文件读写推流
**函数功用:用fread等文件操作函数读取音视频文件,并解析后推送HIMPP进行解码
*/
int SAMPLE_COMM_VDEC_H264_SendStream( VdecThreadParam *pArgs)
{
	......
}
}
/*
**函数描述:HIMPP系统初始化
**函数功用:配置HIMPP系统的各项参数以满足对目标进行编解码
*/
HI_S32 HI_S32 SAMPLE_VDEC_VdhH264(char *filename)
{
	......
}
 
/*
**主函数
*/
int main(int argc, char *argv[])
{
	......
}

  下面重点讲解SAMPLE_VDEC_VdhH264(char*filename)这个函数,它是H264解码样例的重点函数。HIMPP系统的API函数是海思提供的SDK开发包,调用它相关的接口,在编译时必须将其提供的相应库文件进行包含编译。下面结合样例程序讲述如何使用HIMPP提供的API实现自己的业务逻辑。H.264视频解码实例走的是HARDDISK->VDEC->VPSS->VO->显示器的处理流程,这个过程可以细分为八大步骤,这八大步骤在其他类型的音视频编解码样例也类似,可以说这八大步骤是使用海思HIMPP API的灵魂。下面简单介绍这个八大步骤的内容:

Step1:初始化HIMPP SYS和通用VB缓冲,包括设置缓冲区的大小,缓冲区块的数目。需要注意的是,在设置通用VB参数之前,必须确保HIMPP系统已经退出,否则设置失败。

Step2:设置通用缓冲区的公共缓冲池属性。

Step3:配置解码器,包括指定解码类型,这里是H.264解码样例,当然选PT_H264啦,然后指定视频大小、解码优先级等等。然后创建解码通道,并是能加收解码流。

Step4:配置VPSS参数,VPSS是对VDEC解码后的流进行处理,如裁剪、降噪等,MPEG解码实例从简单应用出发,仅仅按默认的方式配置VPSS。

Step5:配置VO参数,这一步也很关键,因为它指定了画面输出,包括常见的HDMI和VGA,主要是配置输出显示,图层属性设置、输出位置等信息。

Step6:绑定VDEC与VPSS,实现H264解码流程。

Step7:绑定VPSS与VO,实现H264解码流程。

Step8:推送视频流数据,这一步需要文件读写配合使用,对于H264一般做法是先从NALU层中找到视频I帧,然后将I帧推流至VDEC,紧接下来就按帧推送就好了,该注意的是H264解码必须先推送I帧,否则会视频会花屏。

/*
**函数功能:HIMPP系统初始化及配置
**HARDDISK->VDEC->VPSS->VO->显示器的处理流程
*/
HARDDISK->VDEC->VPSS->VO->显示器的处理流程
HI_S32 SAMPLE_VDEC_VdhH264(char *filename)
{
    VB_CONF_S stVbConf, stModVbConf;
    HI_S32 i, s32Ret = HI_SUCCESS;
	VdecThreadParam pstVdecSend;
    SIZE_S stSize;
    VO_PUB_ATTR_S stVoPubAttr;
    VO_VIDEO_LAYER_ATTR_S stVoLayerAttr;	
    stSize.u32Width = HD_WIDTH;
    stSize.u32Height = HD_HEIGHT;
	
    /************************************************
    step1:  HIMPP系统初始化以及通用视频缓冲池配置 
    *************************************************/
	MPP_SYS_CONF_S stSysConf = {0};

	memset(&stVbConf,0,sizeof(stVbConf));
	stSize.u32Width = HD_WIDTH; //指定宽度
    stSize.u32Height = HD_HEIGHT; //指定高度
	stVbConf.u32MaxPoolCnt = 1; //指定最大缓冲池数量,我们只创建一路H264解码
	stVbConf.astCommPool[0].u32BlkSize = (stSize.u32Width * stSize.u32Height* 4) >> 1; //指定缓冲池大小,经验值一般为分辨率的1.5倍左右,这里取2倍
	stVbConf.astCommPool[0].u32BlkCnt	 = 3;
	memset(stVbConf.astCommPool[0].acMmzName,0,sizeof(stVbConf.astCommPool[0].acMmzName));
	
	HI_MPI_SYS_Exit(); //设置前先去初始换HIMPP调用
    
    for(i=0;i<22;i++)
    {
         HI_MPI_VB_ExitModCommPool(i);
    }
    for(i=0; i<256; i++)
    {
         HI_MPI_VB_DestroyPool(i);
    }
    HI_MPI_VB_Exit();
	
	s32Ret = HI_MPI_VB_SetConf(&stVbConf);//配置缓冲池
	if (HI_SUCCESS != s32Ret)
	{
		hidebug("HI_MPI_VB_SetConf failed!\n");
		return HI_FAILURE;
	}
	s32Ret = HI_MPI_VB_Init();//缓冲池初始化
	if (HI_SUCCESS != s32Ret)
	{
		hidebug("HI_MPI_VB_Init failed!\n");
		return HI_FAILURE;
	}
	stSysConf.u32AlignWidth = 16;
	/*set config of mpp system*/
	s32Ret = HI_MPI_SYS_SetConf(&stSysConf);//HIMPP配置
	if (HI_SUCCESS != s32Ret)
	{
		hidebug("HI_MPI_SYS_SetConf failed!\n");
		return HI_FAILURE;
	}
	s32Ret = HI_MPI_SYS_Init();	//HIMPP系统初始化	
	if (HI_SUCCESS != s32Ret)
	{
		hidebug("HI_MPI_SYS_Init failed!\n");
		return HI_FAILURE;
	}
    /************************************************
    step2:  系统缓冲池模块初始化配置
    *************************************************/
 	memset(&stModVbConf, 0, sizeof(VB_CONF_S));
	stModVbConf.u32MaxPoolCnt = 2;
	stModVbConf.astCommPool[0].u32BlkSize = (stSize.u32Width * stSize.u32Height* 4) >> 1;;
	stModVbConf.astCommPool[0].u32BlkCnt  = 5;
	
	stModVbConf.astCommPool[1].u32BlkSize = (stSize.u32Width * stSize.u32Height* 4) >> 1;;
	stModVbConf.astCommPool[1].u32BlkCnt  = 5;

	HI_MPI_VB_ExitModCommPool(VB_UID_VDEC);
	HI_MPI_VB_SetModPoolConf(VB_UID_VDEC, &stModVbConf);
	HI_MPI_VB_InitModCommPool(VB_UID_VDEC);
	

    /************************************************
    step3:  解码器配置及初始化
    *************************************************/
	VDEC_CHN_ATTR_S stVdecChnAttr;

    stVdecChnAttr.enType       = PT_H264; //创建H264类型的解码器
    stVdecChnAttr.u32BufSize   = 3 * stSize.u32Width * stSize.u32Height;//指定解码缓冲区大小
    stVdecChnAttr.u32Priority  = 5; //设置解码优先级
    stVdecChnAttr.u32PicWidth  = stSize.u32Width; //解码宽高
    stVdecChnAttr.u32PicHeight =stSize.u32Height;

	stVdecChnAttr.stVdecVideoAttr.enMode = VIDEO_MODE_FRAME; //帧式解码模式
    stVdecChnAttr.stVdecVideoAttr.u32RefFrameNum = 2;
	stVdecChnAttr.stVdecVideoAttr.bTemporalMvpEnable = 0;

	HI_MPI_VDEC_SetChnVBCnt(0, 10);
	HI_MPI_VDEC_CreateChn(0, &stVdecChnAttr);
	HI_MPI_VDEC_StartRecvStream(0);

    /************************************************
    step4:  VPSS配置及初始化
    *************************************************/
	VPSS_GRP_PARAM_S stVpssParam = {0};
	VPSS_CHN_ATTR_S stChnAttr = {0};
	VPSS_GRP_ATTR_S stVpssGrpAttr;
	
	stVpssGrpAttr.enDieMode = VPSS_DIE_MODE_NODIE;
    stVpssGrpAttr.bIeEn     = HI_FALSE;
    stVpssGrpAttr.bDciEn    = HI_TRUE;
    stVpssGrpAttr.bNrEn     = HI_FALSE;
    stVpssGrpAttr.bHistEn   = HI_FALSE;
	stVpssGrpAttr.bEsEn	  = HI_FALSE;
    stVpssGrpAttr.enPixFmt  = PIXEL_FORMAT_YUV_SEMIPLANAR_420;//解码像素格式YUV420
    stVpssGrpAttr.u32MaxW   = stSize.u32Width;
    stVpssGrpAttr.u32MaxH   = stSize.u32Height;

	/*** create vpss group ***/
	s32Ret = HI_MPI_VPSS_CreateGrp(0, &stVpssGrpAttr);//创建VPSS Group,在HI3536平台一个Group有4个VPSS Channel
	if (s32Ret != HI_SUCCESS)
	{
	   	hidebug("HI_MPI_VPSS_CreateGrp failed!\n");
		return HI_FAILURE;
	}
	/*** set vpss param ***/
	s32Ret = HI_MPI_VPSS_GetGrpParam(0, &stVpssParam);//设置VPSS Group属性
	if(s32Ret != HI_SUCCESS)
	{
	   	hidebug("HI_MPI_VPSS_GetGrpParam failed!\n");
		return HI_FAILURE;
	}
	stVpssParam.u32IeStrength = 0;
	s32Ret = HI_MPI_VPSS_SetGrpParam(0, &stVpssParam);
	if(s32Ret != HI_SUCCESS)
	{
	   	hidebug("HI_MPI_VPSS_GetGrpParam failed!\n");
		return HI_FAILURE;
	}
	/*** enable vpss chn, with frame ***/
	/* Set Vpss Chn attr */
    stChnAttr.bSpEn = HI_FALSE;
    stChnAttr.bUVInvert = HI_FALSE;
    stChnAttr.bBorderEn = HI_TRUE;
    stChnAttr.stBorder.u32Color = 0xffffff;//背景色为黑色
    stChnAttr.stBorder.u32LeftWidth = 2;
    stChnAttr.stBorder.u32RightWidth = 2;
    stChnAttr.stBorder.u32TopWidth = 2;
    stChnAttr.stBorder.u32BottomWidth = 2;

	s32Ret = HI_MPI_VPSS_SetChnAttr(0, 0, &stChnAttr);
	if(s32Ret != HI_SUCCESS)
	{
	   	hidebug("HI_MPI_VPSS_SetChnAttr failed!\n");
		return HI_FAILURE;
	}
	s32Ret = HI_MPI_VPSS_EnableChn(0, 0);//由于只有一路H264解码,故只用Group0 及 Channel 0
	if(s32Ret != HI_SUCCESS)
	{
	   	hidebug("HI_MPI_VPSS_EnableChn failed!\n");
		return HI_FAILURE;
	}
	/*** start vpss group ***/
	s32Ret = HI_MPI_VPSS_StartGrp(0);
	if(s32Ret != HI_SUCCESS)
	{
	   	hidebug("HI_MPI_VPSS_StartGrp failed!\n");
		return HI_FAILURE;
	}
	
    /************************************************
    step5:  配置VO及初始化VO
    *************************************************/
	VO_CHN_ATTR_S stChnAttr1;

	stVoPubAttr.enIntfSync = VO_OUTPUT_1080P60;//VO输出模式为1080p 60帧,普通显示器的输出
    stVoPubAttr.enIntfType = VO_INTF_VGA | VO_INTF_HDMI;//启用VGA及HDMI输出
	s32Ret = HI_MPI_VO_SetPubAttr(0, &stVoPubAttr);
	if(s32Ret != HI_SUCCESS)
	{
	   	hidebug("HI_MPI_VO_SetPubAttr failed!\n");
		return HI_FAILURE;
	}
	s32Ret = HI_MPI_VO_Enable(0);
	if (s32Ret != HI_SUCCESS)
	{
	   	hidebug("HI_MPI_VO_Enable failed!\n");
		return HI_FAILURE;
	}
	//设置VO Layer显示配置,如显示位置,大小,像素类型
	stVoLayerAttr.u32DispFrmRt = 60;
	stVoLayerAttr.stDispRect.u32Width = 1920;
	stVoLayerAttr.stDispRect.u32Height = 1080;
	stVoLayerAttr.stImageSize.u32Width = stVoLayerAttr.stDispRect.u32Width;
    stVoLayerAttr.stImageSize.u32Height = stVoLayerAttr.stDispRect.u32Height;
   	stVoLayerAttr.bClusterMode = HI_FALSE;
   	stVoLayerAttr.bDoubleFrame = HI_FALSE;
    stVoLayerAttr.enPixFormat = PIXEL_FORMAT_YUV_SEMIPLANAR_420;    
	s32Ret = HI_MPI_VO_SetVideoLayerAttr(0, &stVoLayerAttr);
	if(s32Ret != HI_SUCCESS)
	{
	   	hidebug("HI_MPI_VO_SetVideoLayerAttr failed!\n");
		return HI_FAILURE;
	}
	s32Ret = HI_MPI_VO_EnableVideoLayer(0);
	if (s32Ret != HI_SUCCESS)
	{
	   	hidebug("HI_MPI_VO_EnableVideoLayer failed!\n");
		return HI_FAILURE;
	}
	/*
	if (HI_SUCCESS != SAMPLE_COMM_VO_HdmiStart(stVoPubAttr.enIntfSync))
    {
        hidebug("Start SAMPLE_COMM_VO_HdmiStart failed!\n");
    }
	*/
	//设置VO Channel显示位置,大小
	stChnAttr1.stRect.s32X		= 0;
	stChnAttr1.stRect.s32Y		= 0;
	stChnAttr1.stRect.u32Width	= 1920;
	stChnAttr1.stRect.u32Height	= 1080;
	stChnAttr1.u32Priority		= 0;
	stChnAttr1.bDeflicker		= HI_FALSE;

	s32Ret = HI_MPI_VO_SetChnAttr(0, 0, &stChnAttr1);
	if (s32Ret != HI_SUCCESS)
	{
		hidebug("failed with %#x!\n", s32Ret);	
	}
	s32Ret = HI_MPI_VO_EnableChn(0,0);
	if (s32Ret != HI_SUCCESS)
	{
		hidebug("failed with %#x!\n", s32Ret);
		 
	}
    /************************************************
    step6:  解码器绑定VPSS
    *************************************************/
    MPP_CHN_S stSrcChn;
   	MPP_CHN_S stDestChn;

  	stSrcChn.enModId = HI_ID_VDEC;
   	stSrcChn.s32DevId = 0;
    stSrcChn.s32ChnId = 0;

    stDestChn.enModId = HI_ID_VPSS;
    stDestChn.s32DevId = 0;
    stDestChn.s32ChnId = 0;
	s32Ret = HI_MPI_SYS_Bind(&stSrcChn, &stDestChn);	 
	if(s32Ret != HI_SUCCESS)
	{
	   	hidebug("HI_MPI_SYS_Bind failed!\n");
		return HI_FAILURE;
	}
		
    /************************************************
    step7:  VPSS绑定VO
    *************************************************/
	stSrcChn.enModId = HI_ID_VPSS;
    stSrcChn.s32DevId = 0;
    stSrcChn.s32ChnId = 0;

    stDestChn.enModId = HI_ID_VOU;
   	stDestChn.s32DevId = 0;
   	stDestChn.s32ChnId = 0;
	s32Ret = HI_MPI_SYS_Bind(&stSrcChn, &stDestChn);	 
	if(s32Ret != HI_SUCCESS)
	{
	    hidebug("HI_MPI_SYS_Bind failed!\n");
		return HI_FAILURE;
	}

    /************************************************
    step8:  发送解码流,推送H264流至VDEC
    *************************************************/    
    sprintf(pstVdecSend.cFileName,filename);
    pstVdecSend.s32MilliSec     = 0;
    pstVdecSend.s32ChnId        = 0;
    pstVdecSend.s32IntervalTime = 1;
    pstVdecSend.u64PtsInit      = 0;
    pstVdecSend.u64PtsIncrease  = 0;
    pstVdecSend.eCtrlSinal      = VDEC_CTRL_START;
    pstVdecSend.bLoopSend       = HI_TRUE;
    pstVdecSend.bManuSend       = HI_FALSE;
    pstVdecSend.enType          = PT_H264;
    pstVdecSend.s32MinBufSize   = (stVdecChnAttr.u32PicWidth *stVdecChnAttr.u32PicHeight * 3)>>1;
	pstVdecSend.s32StreamMode = VIDEO_MODE_FRAME;
	SAMPLE_COMM_VDEC_H264_SendStream(&pstVdecSend);

    return	s32Ret;
}


int main(int argc, char *argv[])
{ 
	if(argc != 2)
	{
		printf("Usage: h264 filename\n");
		exit(0);
	}	
    signal(SIGINT, SAMPLE_VDEC_HandleSig);
    signal(SIGTERM, SAMPLE_VDEC_HandleSig);
    SAMPLE_VDEC_VdhH264(argv[1]);

    return 0;
}

H264的NALU

  这里讲一下H264编码的NALU基础知识,NAL全称Network Abstract Layer, 即网络抽象层。如何从NAL里面找到我们需要的帧呢,原来实际的H264数据帧中,往往在帧前面带有00 00 00 01 或 00 00 01分隔符,来标识一帧的起始位置。以00 00 00 01分割之后的下一个字节就是NALU类型,将其转为二进制数据后,解读顺序为从左往右算,第一位为禁止位,值为1表示语法出错;第2~3位为参考级别;第4~8为是NAL单元类型。常见的NALU的类型有序列参数集SPS,它的NAL单元类型值为0x67,即0000 0001 0110 0111;图像参数集PPS,它的NAL单元类型值为0x68,即0000 00010110 1000;IDR图像中的片(I帧) ,它的NAL单元类型值为0x65,即0000 0001 0110 0101。所以判断是否为I帧的算法为: (NALU类型 & 0001  1111)= 5,即NALU类型 & 1F= 5,比如0x65 & 1F = 5。结合H264推流的代码看一下,这段代码的通过读取H.264文件到一个缓冲区,然后对缓冲区进行数据处理,判断I帧的起始位置。

//解析H264文件的I帧信息
        else if ( (pstVdecThreadParam->s32StreamMode==VIDEO_MODE_FRAME) && (pstVdecThreadParam->enType == PT_H264) )
        {
            bFindStart = HI_FALSE;  
            bFindEnd   = HI_FALSE;
            fseek(fpStrm, s32UsedBytes, SEEK_SET);
            s32ReadLen = fread(pu8Buf, 1, pstVdecThreadParam->s32MinBufSize, fpStrm);
            if (s32ReadLen == 0)
            {
                if (pstVdecThreadParam->bLoopSend)
                {
                    s32UsedBytes = 0;
                    fseek(fpStrm, 0, SEEK_SET);
                    s32ReadLen = fread(pu8Buf, 1, pstVdecThreadParam->s32MinBufSize, fpStrm);
                }
                else
                {
                    break;
                }
            }
         			
            for (i=0; i<s32ReadLen-8; i++)
            {
                int tmp = pu8Buf[i+3] & 0x1F; //判断I帧
                if (  pu8Buf[i] == 0 && pu8Buf[i+1] == 0 && pu8Buf[i+2] == 1 && 
                       (
                           ((tmp == 5 || tmp == 1) && ((pu8Buf[i+4]&0x80) == 0x80)) ||
                           (tmp == 20 && (pu8Buf[i+7]&0x80) == 0x80)
                        )
                   )            
                {
                    bFindStart = HI_TRUE;
                    i += 8;
                    break;
                }
            }

            for (; i<s32ReadLen-8; i++)
            {
                int tmp = pu8Buf[i+3] & 0x1F;//判断I帧
                if (  pu8Buf[i  ] == 0 && pu8Buf[i+1] == 0 && pu8Buf[i+2] == 1 && 
                            (
                                  tmp == 15 || tmp == 7 || tmp == 8 || tmp == 6 || 
                                  ((tmp == 5 || tmp == 1) && ((pu8Buf[i+4]&0x80) == 0x80)) ||
                                  (tmp == 20 && (pu8Buf[i+7]&0x80) == 0x80)
                              )
                   )                   
                {					
                    bFindEnd = HI_TRUE;
                    break;
                }
            }

            if(i > 0) s32ReadLen = i;
            if (bFindStart == HI_FALSE)
            {
                printf("SAMPLE_TEST: chn %d can not find start code!s32ReadLen %d, s32UsedBytes %d. \n", 
					                        pstVdecThreadParam->s32ChnId, s32ReadLen, s32UsedBytes);
            }
            else if (bFindEnd == HI_FALSE)
            {
                s32ReadLen = i+8;
            }
            
        }

总结

  H.264解码实例参考了海思提供的样例及库,程序源码及相关库文件请点击这里,修改不同的编译链工具,即可在不同HI35XX系列平台运行,整个H.264解码实例提供了最简单的解码实现方式,当然还可以实现快进播放、暂停播放等常用的视频播放控制逻辑,这需要读者进一步摸索。






已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 创作都市 设计师:CSDN官方博客 返回首页