EasyRTMPClient：RTMP拉流组件RTMP协议扩展支持HEVC(H.265)解决方案

TSINGSEE

于 2019-05-27 10:56:22 发布

阅读量757

点赞数

分类专栏： EasyRTMPClient 文章标签： RTMPClient工具 H265编码格式扩展 EasyRTMPClient 拉流网页直播 RTMP流播放

本文链接：https://blog.csdn.net/TsingSee/article/details/90599630

版权

EasyRTMPClient 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

需求背景

之前我们已经在RTMP推送端扩展支持了HEVC(H.265 后文统称H265)的编码格式，但是，由于RTMP官方指定的协议格式已经不再更新，官方的播放器——Flash播放器并不支持H265格式的编码数据进行解码播放；现在，我们需要在播放器端解析RTMP流时对H265编码格式进行扩展支持。

而我们研发的EasyRTMPClient就能清晰地回调出帧率、时间戳、首帧是否为I帧、ES数据流、能保存ES进行分析，最接近现实项目中的应用需求，更重要的是EasyRTMPClient扩展了RTMP H.265支持！

下面我们将详细介绍EasyRTMPClient是如何实现支持H265推送的。

首先，扩展ffmpeg

我们可以通过扩展ffmpeg，让其支持拉H265封装的RTMP流进行解码播放，我们可以通过金山云对ffmpeg的扩展支持H265来解决。

然后，实现EasyRTMPClient对H265的支持

我们通过修改EasyRTMPClient的代码实现对H265的支持，因为我们之前已经实现了推送端的扩展支持，所以播放端的支持则相对比较简单。不过仍有几个方面需要我们注意，下面将对整个扩展流程进行介绍。

1. 扩展编码ID

和推送端一样，需要先扩展支持H265的编码ID，我们定义为12，代码如下所示：

```
enum FlvVideoCodecId
{
  e_FlvVideoCodecId_None     = 0,
  e_FlvVideoCodecId_Jpeg     = 1,
  e_FlvVideoCodecId_H263     = 2,
  e_FlvVideoCodecId_Screen   = 3,
  e_FlvVideoCodecId_Vp6      = 4,
  e_FlvVideoCodecId_Vp6Alpha = 5,
  e_FlvVideoCodecId_ScreenV2 = 6,
  e_FlvVideoCodecId_Avc      = 7,
  // RTMP扩展支持HEVC(H.265) 
  e_FlvVideoCodecId_Hevc      = 12, 

};


enum FlvCodeId
{
  FlvCodeId_Jpeg = 1,
  FlvCodeId_Sorenson = 2,
  FlvCodeId_ScreenVideo = 3,
  FlvCodeId_On2Vp6 = 4,
  FlvCodeId_On2Vp6Alpha = 5,
  FlvCodeId_ScreenVideoV2 = 6,
  FlvCodeId_AVC = 7,
  // RTMP扩展支持HEVC(H.265)
  FlvCodeId_Hevc      = 12,
};
```

2. 扩展H265特有头部数据结构VPS

因为H264只有SPS和PPS，所以在兼容H265的时候，我们需要定义其特有的头VPS:

```
char	vps_buf_[MAX_VPS_LEN];//256
int		vps_len_;	
```

3. MetaData解析扩展支持H265

在推送端，我们扩展H265发送的MetaData结构定义如下：

 ```
typedef struct HVCCNALUnitArray {
  uint8_t  array_completeness;
  uint8_t  NAL_unit_type;
  uint16_t numNalus;
  uint16_t *nalUnitLength;
  uint8_t  **nalUnit;
} HVCCNALUnitArray;

typedef struct HEVCDecoderConfigurationRecord {
  uint8_t  configurationVersion;
  uint8_t  general_profile_space;
  uint8_t  general_tier_flag;
  uint8_t  general_profile_idc;
  uint32_t general_profile_compatibility_flags;
  uint64_t general_constraint_indicator_flags;
  uint8_t  general_level_idc;
  uint16_t min_spatial_segmentation_idc;
  uint8_t  parallelismType;
  uint8_t  chromaFormat;
  uint8_t  bitDepthLumaMinus8;
  uint8_t  bitDepthChromaMinus8;
  uint16_t avgFrameRate;
  uint8_t  constantFrameRate;
  uint8_t  numTemporalLayers;
  uint8_t  temporalIdNested;
  uint8_t  lengthSizeMinusOne;
  uint8_t  numOfArrays;
  HVCCNALUnitArray *array;
} HEVCDecoderConfigurationRecord;
```

接下来，我们将从MetaData里面把VPS、SPS和PPS解析出来。

首先，判断视频编码格式：

  ```
  parser_VideoTag *video_tag = (parser_VideoTag*)(buf+parser_offset);
  FlvCodeId video_code_id = (FlvCodeId)(video_tag->code_id&0x0f);
  if (video_code_id == FlvCodeId_Hevc)
  {
	av_frame.u32AVFrameFlag = EASY_SDK_VIDEO_CODEC_H265;// HEVC;
  } 
  else
  {
	av_frame.u32AVFrameFlag = EASY_SDK_VIDEO_CODEC_H264;// 默认h264, 其他类型是否需要判断?!;
  }
  ```

然后，判断视频帧格式为H265后，我们从MetaData中获取VPS、SPS和PPS，代码如下所示：

    ```

	char *parser_config = buf;
	Parser_HEVCDecoderConfigurationRecord *decoder_header = (Parser_HEVCDecoderConfigurationRecord*)((char*)parser_config);
	parser_offset += sizeof(Parser_HEVCDecoderConfigurationRecord);
	int nNumOfArrays = decoder_header->numOfArrays;
	for (int i=0; i<nNumOfArrays; i++)
	{
		Parser_HVCCNALUnitArray* pNALUnit = (Parser_HVCCNALUnitArray*)((char *)parser_config+parser_offset);
		parser_offset += sizeof(Parser_HVCCNALUnitArray);
		int numNalus = ntohs(*(unsigned short *)((char *)parser_config + parser_offset));  
		parser_offset += 2;
		for (int nI=0; nI<numNalus; nI++)
		{
			// 	uint16_t *nalUnitLength;
			// 	uint8_t  **nalUnit;
			ps_len = *pNALUnit[i]->nalUnitLength;
			if (pNALUnit[nI]->NAL_unit_type == 0x20)
			{
				//获取VPS
				memcpy(vps_buf_, *pNALUnit[i]->nalUnit, ps_len);
				vps_len_ = ps_len;
			} 
			else if (pNALUnit[nI]->NAL_unit_type == 0x021)
			{
				//获取SPS
				memcpy(sps_buf_,*pNALUnit[i]->nalUnit, ps_len);
				sps_len_ = ps_len;
			}
			else if (pNALUnit[nI]->NAL_unit_type == 0x22)
			{
				//获取PPS
				memcpy(pps_buf_,*pNALUnit[i]->nalUnit, ps_len);
				pps_len_ = ps_len;
			}	
			parser_offset += ps_len;
		}
	}
	//从H265的SPS头部结构中取得视频长宽
	rtmpclient_h265_decode_sps((unsigned char *)sps_buf_, sps_len_, width_, height_);	
   ```

4. 视频数据帧Nalu解析扩展支持H265

首先，判断如果是H265视频帧，则需要解析视频帧是否携带VPS：

  ```
	if(av_frame.u32AVFrameFlag == EASY_SDK_VIDEO_CODEC_H265)
	{
		nalu_type = (buf[parse_offset] >> 1) & 0x3F;
		if(nalu_type == e_H265_NAL_UNIT_VPS)
		{
			memcpy(vps_buf_,buf + parse_offset,nalu_len);
			vps_len_ = nalu_len;
			parse_offset += nalu_len;
			continue;
		}
	}else{
		nalu_type = buf[parse_offset]&0x1F;
	}
  ```

对SPS、PPS以及Idr帧、P帧的nalu数据单元的解析和H264解析方法一致，这里就不做过多赘述。

然后，我们通过EasyScreenLive来推H265编码格式的RTMP流到EasyDSS，通过EasyPlayerPro（ffmpeg拉流）和EasyPlayer-RTMP(EasyRTMPClient拉流)播放，如下图所示：

最后，我们发现推送的基于H265编码的RTMP通过网页是播放不了的，而通过EasyPlayer则能成功播放，这说明通过EasyRTMPClient拉取RTMP流扩展支持H265的方案已经完美解决。

EasyRTMPClient推流

EasyRTMPClient功能组件是TSINGSEE青犀开放平台开发和维护的一套非常稳定、易用、支持重连的RTMPClient工具，以SDK的形式提供，全平台支持（包括Windows/Linux 32&64，Android，iOS，ARM各平台），接口简单、兼容性强、且成熟稳定！(详见青犀官网：http://open.tsingsee.com/ )

tsingsee