基于H.264的RTP打包中的组合封包以及分片封包结构图简介及抓包分析；FU-A FU-B STAP-A STAP-B简介；

码咔吧咔

已于 2024-04-30 11:15:04 修改

阅读量1.3k

点赞数 19

分类专栏： H264/5音视频GB28181协议专栏文章标签： h.264 rtp

于 2024-04-29 14:33:11 首次发布

本文链接：https://blog.csdn.net/qq_50635297/article/details/138304278

版权

H264/5音视频GB28181协议专栏专栏收录该内容

8 篇文章 4 订阅

订阅专栏

本文详细介绍了H.264视频流在RTP中的封装策略，包括单一NALU打包、分片模式（如FU-A和FU-B）以及组合模式（如STAP-A和STAP-B），重点讨论了如何处理不同长度的NALU以适应MTU限制和高效传输。

摘要由CSDN通过智能技术生成

H.264视频流的RTP封装类型分析：

前言：

1.RTP打包原则：

RTP的包长度必须要小于MTU(最大传输单元)，IP协议中MTU的最大长度为1500字节。除去IP报头（20字节）、UDP报头（8字节）、RTP头（12字节），所有RTP有效载荷（即NALU内容）的长度不得超过1460字节。

NULL Hearder简介(结构如下)：

  +---------------+
  |0|1|2|3|4|5|6|7|
  +-+-+-+-+-+-+-+-+
  |F|NRI|  Type   |
  +---------------+

F：forbidden_zero_bit，占1位，在 H.264 规范中规定了这一位必须为 0；
NRI：nal_ref_idc，占2位，取值从0到3，指示这个 NALU 的重要性，取值越大约重要；
Type：nalu是指包含在 NAL 单元中的 RBSP 数据结构的类型，其中0未指，1-19在264协议中有定义，20-23为264协议指定的保留位。24-29在RFC3984中进行了指定。其中STAP-A为24，FU-A为28。

其中Type详细介绍前文以叙述：RFC3984: RTP Payload Format for H.264 Video(中英文版)官方文献，RTP协议头格式分析详解；RTP载荷H264码流；

其中我们看到1-11就是NALU的单个包类型，但是一个NALU的大小是不一样的，如果是非视频数据的SPS PPS才十几个字节，对于IDR帧，则有可能几十KB。这样把NALU打包到RTP方式就很多：分为一个RTP包承载一个NALU，多个NALU合并到一个RTP，一个大的NALU切分成多个RTP。同时由于时间戳的问题，就有了24-29几种类型。

但是对于发送端组RTP包的一方来说，尽可能找简单的打包方式。对于接受端则需要适配各种发送端的打包方式，因为无法决定输入源的打包方式。这里先分享下我们的打包方式，比较简单：

我们对于NALU的长度<1400的则采用的是单一NALU打包到单一的RTP包中；
我们对于NALU的长度>=1400的则采用了FU-A的方式进行了打包，这种就是把一个大的NALU进行了切分，最后接收方则进行了合并，把多个RTP包合并成一个完整的NALU即可；
至于为什么NALU的长度大于1400字节就要进行FU-A切片，是因为底层MTU大小值固定为1500，从传输效率讲，这里用1400作为切分条件。

2.RTP打包模式：

主要分为三种模式：单一NALU模式、分片模式、组合模式，实际中前两种用的比较多。

一、单一NALU模式分析：

1.单一NALU模式结构如下：

   0                   1                   2                   3
   0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
  |F|NRI|  type   |                                               |
  +-+-+-+-+-+-+-+-+                                               |
  |                                                               |
  |               Bytes 2..n of a Single NAL unit                 |
  |                                                               |
  |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
  |                               :...OPTIONAL RTP padding        |
  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

2.抓包对照分析

二、分片包模式分析

1.FU-A和FU-B的结构如下：

// 5.8. Fragmentation Units (FUs) (p29)
0               1               2               3
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|  FU indicator |   FU header   |              DON              |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-|
|                                                               |
|                          FU payload                           |
|                                                               |
|                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                               :   ...OPTIONAL RTP padding     |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

注意：STAP-A和FU-A的RTP荷载结构不包含DON(解码顺序号). STAP-B，FU-B结构包含DON。

与单一封包不一样的是，|F|NRI|type|变成了|FU indicator|FU header|。其实，|FU indicator|就是|F|NRI|type|，但是额外增加了|FU header|用于标识当前分片的状态，如下所示：

  // FU header 结构如下：
  +---------------+
  |0|1|2|3|4|5|6|7|
  +-+-+-+-+-+-+-+-+
  |S|E|R|  Type   |
  +---------------+

S: 1 bit 当设置成1,开始位指示分片NAL单元的开始。当跟随的FU荷载不是分片NAL单元荷载的开始，开始位设为0；
E: 1 bit 当设置成1, 结束位指示分片NAL单元的结束，即, 荷载的最后字节也是分片NAL单元的最后一个字节。当跟随的FU荷载不是分片NAL单元的最后分片,结束位设置为0；
R: 1 bit 保留位必须设置为0，接收者必须忽略该位；
Type: 5 bits NAL单元荷载类型定义在[1]的表7-1(与前文中的type一致，不做展开)。

2.抓包对照分析，以FU-A为例

三、组合包封装模式分析

1.STAP-A结构如下(type 24)：

当NALU的长度特别小时，可以把几个NALU封在一个RTP包中。下面的是STAP-A模式，如果是STAP-B的话会多加入一个DON域。

       0                   1                   2                   3           
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1         
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+        
      |                          RTP Header                           |        
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+        
      |STAP-A NAL HDR |         NALU 1 Size           | NALU 1 HDR    |        
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                         NALU 1 Data                           |        
      :                                                               :
      +               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |               | NALU 2 Size                   | NALU 2 HDR    |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                         NALU 2 Data                           |
      :                                                               :
      |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                               :...OPTIONAL RTP padding        |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
            图 STAP-A RTP包包含一个STAP-A. STAP包含两个单时刻聚合单元

2.STAP-B结构如下(type 25)：

       0                   1                   2                   3
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                          RTP Header                           |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |STAP-B NAL HDR | DON                           | NALU 1 Size   |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      | NALU 1 Size   | NALU 1 HDR    | NALU 1 Data                   |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+                               +
      :                                                               :
      +               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |               | NALU 2 Size                   | NALU 2 HDR    |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                       NALU 2 Data                             |
      :                                                               :
      |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                               :...OPTIONAL RTP padding        |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

         图STAP-B 一个RTP包包含一个STAP-B. STAP包含两个单时刻聚合单元例子