视频编码入门概念

视频编码器会根据图像的前后变化进行选择性压缩，因为刚开始接收端是没有收到任何图像，那么编码器在开始压缩的视频时需要做个全量压缩，这个全量压缩在 H.264 中 I 帧，后面的视频图像根据这个I帧来做增量压缩，这些增量压缩帧叫做 P 帧，H.264 为了防止丢包和减小带宽还引入一种双向预测编码的 B 帧，B 帧以前面的 I 或 P 帧和后面的 P 帧为参考帧。双向预测编码可解决“暴露“问题，即某物体在前一帧未显示出来，但在后一帧中却暴露出来。双向预测能更准确的找出运动矢量。H.264 为了防止中间 P 帧丢失视频图像会一直错误它引入分组序列（GOP）编码，也就是隔一段时间发一个全量 I 帧，上一个 I 帧与下一个 I 帧之间为一个分组 GOP。但在实时视频当中最好不要加入 B 帧 ，因为 B 帧是双向预测，需要根据后面的视频帧来编码，而在实时通信中该帧还未出现。因这会增大编解码延迟。

马赛克、卡顿、秒开

马赛克：
GOP 分组中的P帧丢失会造成解码端的图像发生错误，因为中间连续的运动信息丢失了，H.264 在解码的时候会根据前面的参考帧来补齐，但是补齐的并不是真正的运动变化后的数据，这样就会出现颜色色差的问题，这就是所谓的马赛克现象。
卡顿
为了避免马赛克问题的发生，一般如果发现 P 帧或者 I 帧丢失，就不显示本 GOP 内的所有帧，直到下一个 I 帧来后重新刷新图像。但是 I 帧是按照帧周期来的，需要一个比较长的时间周期，如果在下一个 I 帧来之前不显示后来的图像，那么视频就静止不动了，这就是出现了所谓的卡顿现象 。如果连续丢失的视频帧太多造成解码器无帧可解，也会造成严重的卡顿现象。视频解码端的卡顿现象和马赛克现象都是因为丢帧引起的。
秒开：

预测编码

依据，两个相邻像素的值发生突变的概率极小，相等相似或缓变的概率极大。
帧内预测编码：实际像素x（当前值）和参考像素a(b,c)（预测值）相减，传送diff=x-a，由于a已保存在接收端，因此用a和diff恢复x。差分脉冲编码（DPCM）
变换编码：分解直流、低频成分以及少量高频成分进行编码。
基于波形的编码：混合预测编码和变换编码的基于块的编码方法
基于内容编码：将视频帧分成对应于不同物体的区域，对不同形状（二维轮廓）、运动（运动矢量）、纹理（有颜色的波形）进行编码。【当视频中物体种类已知时，可以基于知识或模型进行编码】
像素间的空间相关性，帧间的时间相关性

简称

VOP（video object plane，视频对象平面）
VOL（video object layer,视频对象层）
VO（video object，视频对象）
VS（video session，视频镜头）