h264打包rtp发送

最新推荐文章于 2022-09-23 10:12:06 发布

weixin_34344677

最新推荐文章于 2022-09-23 10:12:06 发布

阅读量162

点赞数

文章标签： python

原文链接：https://my.oschina.net/u/727148/blog/845757

版权

2019独角兽企业重金招聘Python工程师标准>>>

h264拆分成 nalu ---》

int GetAnnexbNALU (NALU_t *nalu) { int pos = 0; //一个nal到下一个nal 数据移动的指针 int StartCodeFound = 0; //是否找到下一个nal 的前缀 int rewind = 0; //判断前缀所占字节数 3或 4 unsigned char * Buf = NULL; static int info2 =0 ; static int info3 =0 ;

if ((Buf = (unsigned char*)calloc (nalu->max_size , sizeof(char))) == NULL) 
{
	printf ("GetAnnexbNALU Error: Could not allocate Buf memory\n");
}

nalu->startcodeprefix_len = 3;      //初始化前缀位三个字节

if (3 != fread (Buf, 1, 3, pinfile))//从文件读取三个字节到buf
{
	free(Buf);
	return 0;
}
info2 = FindStartCode2 (Buf);       //Check whether Buf is 0x000001
if(info2 != 1) 
{
	//If Buf is not 0x000001,then read one more byte
	if(1 != fread(Buf+3, 1, 1, pinfile))
	{
		free(Buf);
		return 0;
	}
	info3 = FindStartCode3 (Buf);   //Check whether Buf is 0x00000001
	if (info3 != 1)                 //If not the return -1
	{ 
		free(Buf);
		return -1;
	}
	else 
	{
		//If Buf is 0x00000001,set the prefix length to 4 bytes
		pos = 4;
		nalu->startcodeprefix_len = 4;
	}
} 
else
{
	//If Buf is 0x000001,set the prefix length to 3 bytes
	pos = 3;
	nalu->startcodeprefix_len = 3;
}
//寻找下一个字符符号位， 即 寻找一个nal 从一个0000001 到下一个00000001
StartCodeFound = 0;
info2 = 0;
info3 = 0;
while (!StartCodeFound)
{
	if (feof (pinfile))                                 //如果到了文件结尾
	{
		nalu->len = (pos-1) - nalu->startcodeprefix_len;  //从0 开始
		memcpy (nalu->buf, &Buf[nalu->startcodeprefix_len], nalu->len);     
		nalu->forbidden_bit = nalu->buf[0] & 0x80;      // 1 bit--10000000
		nalu->nal_reference_idc = nalu->buf[0] & 0x60;  // 2 bit--01100000
		nalu->nal_unit_type = (nalu->buf[0]) & 0x1f;    // 5 bit--00011111
		free(Buf);
		return pos-1;
	}
	Buf[pos++] = fgetc (pinfile);                       //Read one char to the Buffer 一个字节一个字节从文件向后找
	info3 = FindStartCode3(&Buf[pos-4]);		        //Check whether Buf is 0x00000001 
	if(info3 != 1)
	{
		info2 = FindStartCode2(&Buf[pos-3]);            //Check whether Buf is 0x000001
	}
	StartCodeFound = (info2 == 1 || info3 == 1);        //如果找到下一个前缀
}

rewind = (info3 == 1)? -4 : -3;//前缀字节数

if (0 != fseek (pinfile, rewind, SEEK_CUR))			    //将文件内部指针移动到 nal 的末尾
{
	free(Buf);
	printf("GetAnnexbNALU Error: Cannot fseek in the bit stream file");
}

nalu->len = (pos + rewind) -  nalu->startcodeprefix_len;       //设置包含nal 头的数据长度
memcpy (nalu->buf, &Buf[nalu->startcodeprefix_len], nalu->len);//拷贝一个nal 数据到数组中

printf("## %c",nalu->buf[0]);
nalu->forbidden_bit = nalu->buf[0] & 0x80;                     //1 bit  设置nal 头  //第一个字节是nal头
nalu->nal_reference_idc = nalu->buf[0] & 0x60;                 // 2 bit
nalu->nal_unit_type = (nalu->buf[0]) & 0x1f;                   // 5 bit

free(Buf);

return (pos + rewind);   //返回两个nalu之间长度                                    //Return the length of bytes from between one NALU and the next NALU

}

一、NALU打包成RTP的方式有三种：

单一 NAL 单元模式即一个 RTP 包仅由一个完整的 NALU 组成. 这种情况下 RTP NAL 头类型字段和原始的 H.264的 NALU 头类型字段是一样的.
组合封包模式即可能是由多个 NAL 单元组成一个 RTP 包. 分别有4种组合方式: STAP-A, STAP-B, MTAP16, MTAP24. 那么这里的类型值分别是 24, 25, 26 以及 27.
分片封包模式用于把一个 NALU 单元封装成多个 RTP 包. 存在两种类型 FU-A 和 FU-B. 类型值分别是 28 和 29. 还记得前面nal_unit_type的定义吧，0~23是给H264用的，24~31未使用，在rtp打包时，如果一个NALU放在一个RTP包里，可以使用NALU的nal_unit_type，但是当需要把多个NALU打包成一个RTP包，或者需要把一个NALU打包成多个RTP包时，就定义新的type来标识。 Type Packet Type name

0 undefined - 1-23 NAL unit Single NAL unit packet per H.264 24 STAP-A Single-time aggregation packet 25 STAP-B Single-time aggregation packet 26 MTAP16 Multi-time aggregation packet 27 MTAP24 Multi-time aggregation packet 28 FU-A Fragmentation unit 29 FU-B Fragmentation unit 30-31 undefined

二、三种打包方式的具体格式 1 .单一 NAL 单元模式对于 NALU 的长度小于 MTU 大小的包, 一般采用单一 NAL 单元模式. 对于一个原始的 H.264 NALU 单元常由 [Start Code] [NALU Header] [NALU Payload] 三部分组成, 其中 Start Code 用于标示这是一个 NALU 单元的开始, 必须是 "00 00 00 01" 或 "00 00 01", NALU 头仅一个字节, 其后都是 NALU 单元内容. 打包时去除 "00 00 01" 或 "00 00 00 01" 的开始码, 把其他数据封包的 RTP 包即可. 0 1 2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1

|F |NRI | type | |

| |

| Bytes 2..n of a Single NAL unit |

| |

| :...OPTIONAL RTP padding |

如有一个 H.264 的 NALU 是这样的: [00 00 00 01 67 42 A0 1E 23 56 0E 2F ... ] 这是一个序列参数集 NAL 单元. [00 00 00 01] 是四个字节的开始码, 67 是 NALU 头, 42 开始的数据是 NALU 内容. 封装成 RTP 包将如下: [ RTP Header ] [ 67 42 A0 1E 23 56 0E 2F ] 即只要去掉 4 个字节的开始码就可以了.

2 组合封包模式其次, 当 NALU 的长度特别小时, 可以把几个 NALU 单元封在一个 RTP 包中.

0 1 2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1

| RTP Header |

|STAP-A NAL HDR | NALU 1 Size | NALU 1 HDR |

| NALU 1 Data |

: :

| | NALU 2 Size | NALU 2 HDR |

| NALU 2 Data |

: :

| :...OPTIONAL RTP padding |

3 Fragmentation Units (FUs).//分片而当 NALU 的长度超过 MTU 时, 就必须对 NALU 单元进行分片封包. 也称为 Fragmentation Units (FUs).

0 1 2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1

| FU indicator | FU header | |

| |

| FU payload |

| |

| :...OPTIONAL RTP padding |

Figure 14. RTP payload format for FU-A FU indicator有以下格式： |0|1|2|3|4|5|6|7|

|F|NRI| Type |

FU指示字节的类型域 Type=28表示FU-A。。NRI域的值必须根据分片NAL单元的NRI域的值设置。

FU header的格式如下：

|0|1|2|3|4|5|6|7|

|S|E|R| Type |

S: 1 bit 设置成1,开始位指示分片NAL单元的开始。当跟随的FU荷载不是分片NAL单元荷载的开始，开始位设为0。 E: 1 bit 当设置成1, 结束位指示分片NAL单元的结束，即, 荷载的最后字节也是分片NAL单元的最后一个字节。当跟随的FU荷载不是分片NAL单元的最后分片,结束位设置为0。 R: 1 bit 保留位必须设置为0，接收者必须忽略该位。 Type: 5 bits 三、拆包和解包拆包：当编码器在编码时需要将原有一个NAL按照FU-A进行分片，原有的NAL的单元头与分片后的FU-A的单元头有如下关系：原始的NAL头的前三位为FU indicator的前三位，原始的NAL头的后五位为FU header的后五位，FU indicator与FU header的剩余位数根据实际情况决定。

解包：当接收端收到FU-A的分片数据，需要将所有的分片包组合还原成原始的NAl包时，FU-A的单元头与还原后的NAL的关系如下：还原后的NAL头的八位是由FU indicator的前三位加FU header的后五位组成，即： nal_unit_type = (fu_indicator & 0xe0) | (fu_header & 0x1f)

转载于:https://my.oschina.net/u/727148/blog/845757