java h264 rtp_H264 RTP包解析

1.  预备

视频：

由一副副连续的图像构成，由于数据量比较大，因此为了节省带宽以及存储，就需要进行必要的压缩与解压缩，也就是编解码。

h264裸码流：

对一个图像或者一个视频序列进行压缩，即产生码流，采用H264编码后形成的码流就是h264裸码流。

码流传输：

发送端将H264裸码流打包后进行网络传输，接收端接收后进行组包还原裸码流，然后可以再进行存储，转发，或者播放等等相关的处理。

存储转发可以直接使用裸码流，播放则需要进行解码和显示处理

解码显示：

一般会解成YUV数据，然后交给显示相关模块做处理，如使用openGL或者D3D等进行渲染(采用3d的方式来显示2d的图像称为渲染)

解码又分软件解码和硬件解码，

软解一般ffmpeg

硬解则各不同，由各硬件厂商开放sdk来处理，如：hisi，intel media sdk，nvida gpu，apple ios videotoolbox等。

2.  h264码流传输

类似发送网页文本数据有http一样，视频数据在网络上传输也有专门的网络协议来支持，如：rtsp，rtmp等

由于码流是一帧一帧的图片数据，所以传输的时候也是一帧帧来传输的，因此这里就会涉及到各种类型的帧处理了

I 帧： 参考帧或者关键帧，可以理解为是一帧完整画面，解码时只需要本帧数据就解码成一幅完整的图片，数据量比较大。

P帧： 差别帧，只有与前面的帧或I帧的差别数据，需要依赖前面已编码图象作为参考图象，才能解码成一幅完整的图片，数据量小。

B帧： 双向差别帧，也就是B帧记录的是本帧与前后帧的差别，需要依赖前后帧和I帧才能解码出一幅完整的图片，数据量小。

由于i帧比较大，已经超出mtu最大1500，所以需要拆包分片传输，这里说的拆包发送不是指发送超过1500的数据包时tcp的分段传输或者upd的ip分片传输，而是指rtp协议本身对264的拆包。

rtp打包后将数据交给tcp或者upd进行传输的时候就已经控制在1500以内，这样可以提高传输效率，避免一个I帧万一丢失就会造成花屏或者重传造成延时卡顿等等问题。

(顺便提一句，rtmp打包就比较简单，由于是基于tcp的协议，大包直接交给tcp去做分段传输