趣谈网络协议-应用层(流媒体协议)

zzh_404_not_found

已于 2022-02-04 21:35:42 修改

阅读量3.3k

点赞数

分类专栏：计算机网络文章标签：网络协议 p2p 网络

于 2022-01-30 16:53:55 首次发布

本文链接：https://blog.csdn.net/qq_38360229/article/details/122754045

版权

7 篇文章 1 订阅

订阅专栏

一、概述

帧：视频中的每一张图片

帧率（FPS）：每秒图片数

像素：每一张图片，都是由像素组成的。像素由 RGB 组成，每个 8 位，共 24 位。

编码：用尽量少的位保存视频数据

视频中图片的特点：

编码过程：

直播数据传输过程：

视频通过上述编码流程转换成二进制数据，
接流：将编码好的视频封装到网络协议中，通过直播端推送到服务器，服务器有一个运行了同样网络协议的进程接收网络包，从中得到视频流
转码：服务端接收到视频流后，对视频进行一些处理(如转码等)，确保客户端不同解码器也可以观看到视频
拉流：视频处理完后，客户端请求视频流，这个过程叫拉流。若观看的用户很多，可以先将视频分发到边缘节点(CDN)，大部分观众观看视频时，直接从边缘节点拉取，缓解服务端压力
解码：客户端拉取到数据后，将二进制数据转换成一帧帧的图片，在客户端播放

I帧：关键帧，里面包含完整的图片，不依赖于前后帧

P帧：前向预测编码帧，记录这一帧跟之前的一个关键帧（或 P 帧）的差别，依赖之前的帧，叠加上和本帧的区别，生成最终画面

B帧：双向预测内插编码帧，记录这一帧与前后帧的区别，依赖于前后的帧，通过前后画面的数据与本帧数据的叠加，获取最终画面

时序上的编码：I 帧最完整，B 帧压缩率最高，而压缩后帧的序列，应该是在 IBBP 的间隔出现的。

空间上的编码：在一帧中，分成多个片，每一片都放在一个 NALU 里面，NALU 之间都是通过特殊的起始标识符分隔，在每一个 I 帧的第一片前面，要插入单独保存 SPS 和 PPS 的 NALU，最终形成一个长长的 NALU 序列。

NALU结构：

起始标识符：0000001，标识 NALU 之间的间隔

NALU头：配置了 NALU 的类型，只要内容为 NAL Type，为了保证容错性，每一个 I 帧前面，都会传一遍这两个参数集合。

Payload：真正的视频数据，由header定义了该数据保存的是I帧还是P帧

RTMP 协议：

RTMP连接握手流程：

推流数据传输过程：

将 NALU 放在 Message 里面发送(RTMP Packet 包)
发送的时候，去掉 NALU 的起始标识符。因为这部分对于 RTMP 协议来讲没有用。接下来，将 SPS 和 PPS 参数集封装成一个 RTMP 包发送，然后发送一个个片的 NALU。
RTMP 在收发数据的时候并不是以 Message 为单位的，而是把 Message 拆分成 Chunk 发送，而且必须在一个 Chunk 发送完成之后，才能开始发送下一个 Chunk。每个 Chunk 中都带有 Message ID，表示属于哪个 Message，接收端也会按照这个 ID 将 Chunk 组装成 Message。(前面连接的时候，设置的 Chunk 块大小就是指这个 Chunk。将大的消息变为小的块再发送，可以在低带宽的情况下，减少网络拥塞。)