jrtplib打包发送H264

参考网页：http://blog.csdn.net/u010457344/article/details/31804943

http://blog.csdn.net/xyyangkun/article/details/20453051?utm_source=tuicool&utm_medium=referral

RTP数据包的结构，RTP数据包由RTPheader和RTPpayload组成。

RTPheader的格式一样，我们主要讨论RTP的负载包，在此之前，我们必须先了解H264的NALU的负载。

一、nalu负载结构和 RTP H.264负载结构

NALU负载结构

• F : forbidden_zero_bit. 在 H.264 规范中规定了这一位必须为 0.
• NRI ： nal_ref_idc. 取 00 ~ 11, 似乎指示这个 NALU的重要性, 如 00 的 NALU 解码器可以丢弃它而不影响图像的回放. 不过一般情况下不太关心这个属性.
• Type ：
  
  • 0 没有定义
  • 1-23 NAL单元 单个 NAL 单元包
  • 24 STAP-A 单一时间的组合包
  • 25 STAP-B 单一时间的组合包
  • 26 MTAP16 多个时间的组合包
  • 27 MTAP24 多个时间的组合包
  • 28 FU-A 分片的单元
  • 29 FU-B 分片的单元
  • 30-31 没有定义

RTP H.264负载结构

H.264负载 格式定义了三种不同的基本的负载(Payload)结构. 接收端可能通过RTP Payload的第一个字节来识别它们. 这一个字节类似NALU 头的格式, 而这个头结构的NAL 单元类型字段，则指出了代表的是哪一种结构,这个字节的结构如下, 可以看出它和H.264 的NALU 头结构是一样的.

• Type:这个RTPpayload 中 NAL 单元的类型. 这个字段和 H.264 中类型字段的区别是, 当 type的值为 24 ~ 31 表示这是一个特别格式的 NAL 单元, 而 H.264 中, 只取 1~23 是有效的值.

关于NALU使用RTP包进行发送可能的类型有：

单一 NAL 单元模式

对于 NALU的长度小于 MTU 大小的包, 一般采用单一 NAL 单元模式.即一个 RTP 包仅由一个完整的 NALU 组成. 这种情况下 RTP NAL 头类型字段和原始的H.264的NALU 头类型字段是一样的.

对于一个原始的H.264 NALU 单元常由 [StartCode] [NALU Header] [NALU Payload] 三部分组成, 其中 Start Code 用于标示这是一个NALU 单元的开始, 必须是”00 00 00 01” 或”00 00 01”, NALU 头仅一个字节, 其后都是 NALU 单元内容.打包时去除 “00 00 01” 或”00 00 00 01” 的开始码, 把其他数据封包的 RTP 包即可.有如下例子：

有一个H.264 的 NALU 是这样的:  
[00 0000 01 67 42 A0 1E 23 56 0E 2F ... ]


 这是一个序列参数集 NAL 单元. [00 00 00 01] 是四个字节的开始码, 67 是 NALU 头, 42 开始的数据是 NALU 内容.封装成 RTP 包将如下:
[ RTPHeader ] [ 67 42 A0 1E 23 56 0E 2F ]

（在这里要说明的是，如果客户端是通用的播放器，比如VLC或者JM的话需要将前导码去掉，但是如果使用的是ffmpeg在客户端解码的话，发送前不需要去掉前导码，去掉之后可能会导致ffmpeg解码错误）。

组合封包模式

即可能是由多个 NAL 单元组成一个 RTP 包. 分别有4种组合方式:STAP-A, STAP-B, MTAP16, MTAP24。那么这里的类型值分别是 24,25, 26 以及 27。很少用跳过。

分片封包模式

用于把一个 NALU单元封装成多个 RTP 包. 存在两种类型 FU-A 和 FU-B. 类型值分别是 28 和 29.

将NALU拆分成小于ＭＴＵ的数据包进行发送，如果使用的是VLC等网络播放器的话，需要设置FU header，如果使用的是ffmpeg自行进行数据包接收与解码，则完全不必写FU header。，如下图所示：