RTP中H264封装NALU(SPS,PPS等)

NAL的英文全称为Network  Abstract Layer,即网络抽象层,在H264/AVC视频编解码标准中,整个系统框架分为两个层面,视频编解码层面(VCL)和网络抽象层面(NAL)。VCL负责有效表示视频数据内容,NAL负责格式化数据并加上相应的头信息,以保证数据适合各种信道和存储介质上的传输。NAL单元NALU是NAL的基本语法结构,它包含一个字节的头信息和一系列来自VCL的原始字节载序列载荷(RBSP)的字节流。

H264使用RTP传输时,以SPS和PPS开头,如下图:

H264帧由NALU头和NALU载荷构成,以SPS为例如下图:

NALU头有一个字节组成,其中Type有5 bits组成,其中几个比较常用的值如下(其他的请查阅相关文档):

 5     IDR图像中的片
 6     补充增强信息单元(SEI)
 7     SPS
 8     PPS
 9     序列结束
 10    序列结束

上图中SPS的NALU头中的Type值为7,表示SPS(Sequence parameter set),SPS还包含一些图像编码的一些重要配置信息,比如profile_id,level_id,图像的宽高信息等,具体如下图:

上图中图像的宽高为:1920*1088

如果一帧数据过大,将被分为多个片,即有多个slice组成,如下图:

AUD

 一般文档没有对AUD进行描叙,其实这是一个帧开始的标志,字节顺序为:00 00 00 01 09 f1,从结构上看,有start code, 所以确实是一个NALU,类型09在H264定义里就是AUD(分割器)。大部分播放器可以在没有AUD的情况下正常播放。紧随AUD,一般是SPS/PPS/SEI/IDR的组合或者简单就是一个SLICE,也就是一个帧的开始。像Flash这样的播放器,每次需要一个完整的帧数据,那么把2个AUD之间的数据按照格式打包给播放器就可以了。

H.264编码时,在每个NAL前添加起始码 0x000001,解码器在码流中检测到起始码,当前NAL结束。为了防止NAL内部出现0x000001的数据,h.264又提出'防止竞争 emulation prevention"机制,在编码完一个NAL时,如果检测出有连续两个0x00字节,就在后面插入一个0x03。当解码器在NAL内部检测到0x000003的数据,就把0x03抛弃,恢复原始数据。
   0x000000  ----------->  0x00000300
   0x000001  ----------->  0x00000301
   0x000002  ----------->  0x00000302
   0x000003  ----------->  0x00000303

 总的来说,H264的码流的打包方式有两种,一种为annex-b byte stream format 的格式,这个是绝大部分编码器的默认输出格式,就是每个帧的开头的3~4个字节是H264的start_code,0x00000001或者0x000001;另一种是原始的NAL打包格式,就是开始的若干字节(1,2,4字节)是NAL的长度,而不是start_code,此时必须借助某个全局的数据来获得编 码器的profile,level,PPS,SPS等信息才可以解码。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页
评论 3

打赏作者

Acmen_voip

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值