高文老师《数字视频编码技术原理》第2章：视频编码基础

又一版本的视频编码框架图，比万老师的看起来简洁，但可能照顾的细节有所逊色。下面我们开始简要介绍所需信息论知识和关键框架内容。

2.1 信息论基础

信息量 是时间的不确定度：当第i个随机事件发生的概率越大时，信息量越小
信息熵 是多个随机事件的平均信息量，表征信源的不确定程度
互信息 反映了两个信源的相关性，I(X;Y)表示收到信源Y的信息后，获得信源X的信息量的数学期望
条件熵 H(X|Y)表示收到信源Y的所有信息后，对信源X仍存在的不确定程度

2.2 香农编码定理

码率就是数据传输时单位时间传送的数据位数，一般我们用的单位是kbps即千位每秒，这里R可粗略理解为平均编码长度。
香农第一定理（可变长无失真信源编码定理 / 信源编码存在性定理） ：设R为编码平均码率，H(S)为信源熵，若R ≥ H(S)，则一定存在唯一可译码，否则不存在。
香农第二定理（噪声信道编码定理 / 编码方案不会超过信道容量定理） ：设离散无记忆信道的容量为C，信息传输速率为R，若R ≤ C，则存在一种编码使信息传输率无限接近C，否则不存在。
香农第三定理（率失真定理） ：设R(D)为一离散无记忆信源的率失真函数，D为给定的失真度，若R' ≥ R(D)，则存在码率为R’的编码，使他的平均失真度不超过D，否则不存在。

2.3 视频编码技术

预测——变换——量化——熵编码

2.3.1 预测

帧内预测：利用图像空间上相邻像素之间具有相关性的特点，由相邻像素预测当前块的像素值。多预测方向，找到一种最佳方向最大限度的去除冗余。
帧间预测：由于运动图像邻近帧中的场景存在着一定的相关性，因此可为当前块搜索出在邻近参考帧中最相似的预测块，并根据预测块的位置，得出两者之间的空间位置的相对偏移量，即运动矢量（MV）；通过搜索得到运动矢量的过程称为运动估计，根据运动矢量，从指定的参考帧中找到预测块的过程称为运动补偿。如下图，经常需要子像素的插值：

I帧：只采用帧内编码的图像。
P帧：采用帧间编码前向预测的图像。
B帧：采用帧间编码双向预测的图像。

2.3.2 变换

变换：去除空间像素之间的相关性，使图像信息更为紧凑，普遍集中到少数低频分量上。
目标：找到正交变换矩阵T。
K-L变换：均方误差标准下的最佳变换，但过于复杂，不用。
FFT变换（快速傅里叶变换）：只有第一象限被涉及，效率低，不用。
DCT变换（离散余弦变换）：复杂度低可替代K-L变换，对图像分块进行DCT。使用浮点数会产生“误差漂移”故使用整数。
DWT变换（离散小波变换）：多分辨率多频域时频分析，分解为不同频域子带更易于编码。
哈达玛变换：常在运动估计或模式选择时替代DCT，得到与DCT相近的结果。
DST变换（离散余弦变换）：针对帧内残差相关性分布的变换方法。

2.3.3 量化

量化：表示精度的过程，减少编码数据量，对低频使用小的量化步长，有损，导致失真。
矢量量化：对一组数据联合量化，复杂，基本不用。
标量量化：一维的矢量量化，通过量化步长提高压缩效率。

2.3.4 熵编码

熵编码前变二维数据为一维：扫描（Z字扫描、垂直扫描、水平扫描、对角扫描等）。

变长编码：概率大的用短码字，如哈夫曼码、指数哥伦布码。
算术编码：采用一个浮点数代替一串符号，可以使单个符号分配小于1个码字。
上下文自适应技术：自主切换码表或更新符号的条件概率。
新的发展方向：可伸缩熵编码、抗误码熵编码。

2.3.5 环路滤波

位置：重建图像经过环路滤波后用作参考图像，用以编码将来的图像（在帧间预测才会用上）。
内容：去块效应滤波、自适应样本偏置补偿、样本提升滤波

2.4 视频图像质量评价

2.4.1 主观质量评价

观察者给出质量分数。
单一连续刺激质量估计（SSCQE）：观察者用5个等级直接打分。

双连续刺激质量估计（DSCQS）：参考视频与失真视频交替显示，观察者再用5个等级打分。

2.4.2 客观质量评价

视频失真测度：SSD、MSE、SAD、SATD、PSNR
SSIM：基于真实图像信号具有高度结构化，像素点之间有强相关性，在PSNR在30dB以下时，SSIM才有较好区分度。