上一篇我们看了rtmp audio的数据结构,这一篇我们来一起看一看rtmp video的数据结构。
老规矩,先上一个video数据的抓包文件,有个直观的感受。
通过抓包文件,我们可以看到,熟悉的Rtmp Header + Rtmp Body的组织结构,Body中打包的是经过压缩的视频数据。Body中打包视频数据的方式也与音频类似。首先用一个字节表示视频数据的header,之后是压缩后的视频数据(压缩后的数据是使用FLV的标准进行封装的)。
我们来看一下videoData中的header部分的组织结构:
相比音频比较简单,1个字节,高4位表示视频帧类型,低4位表示codecID。
帧类型:
表示该帧视频是关键帧还是非关键帧。可选值如下:
值 | 类型 | 说明 |
1 | key frame | H264的关键帧,包括IDR |
2 | inter frame | H264的非关键帧 |
3 | disposable inter frame | 只针对H263 |
4 | generated keyframe | |
5 | video info/command frame |
这么多值,当前主要用的无非就是1和2,即H264的关键帧和非关键帧,其他类型当下几乎见不到了。
codecID:
表示该帧的数据编码codecID。可选值如下:
值 | 类型 | 说明 |
1 | JPEG | |
2 | Sorenson H.263 | |
3 | Screen Video | |
4 | On2 VP6 | |
5 | On2 VP6 with alpha channel | |
6 | Screen video version2 | |
7 | AVC | H264 |
对于codecID,其实我们主要关注AVC即可,它代表的是H264编码。
接下来,我们看一个具体的例子:
可以看出videoData中Body中,第一个字节为0x17,二进制为:0001 0111。所以type=0001=1,codec_id=0111=7,所以表示该视频数据采用H264编码,该帧是关键帧,这一点,wireshark也有所体现。
在头信息之后,就是具体的压缩后的视频编码数据,不过基于FLV的格式对视频数据做了封装,这里就不展开了。
我们再看一个非关键帧的抓包:
我们可以看到,只是帧类型变成了2,codecID依然是7,代表H264。
好了,这一篇介绍完,关于rtmp协议的交互流程我们也介绍完毕了,这一遍走完,我们对rtmp有了基本的了解,知道了其基本的协议交互流程,以及其数据封装的格式。了解一个协议,核心就是掌握其数据组织格式以及协议交互流程,通过这一系列的文章,相信我们可以对rtmp做到心中有数。
结语
写到这一篇,关于rtmp协议的专题也就告一段落了,希望对各位有所帮助,码字不易,只希望对诸君有用,如果觉得有用,欢迎转载,收藏,点赞,转发。
扫描二维码更精彩