高文老师《数字视频编码技术原理》第3章：预测编码

3.1 预测编码概述

不直接对信号进行编码，而使用前一信号对当前信号进行预测，对当前信号与预测值的差值进行编码传送。
残差较小，降低了编码信号的信息量

3.1.1 帧内预测

将参考像素的像素值填充进当前预测块中。
基于块预测的原因：与基于块的变化量化技术的统一，实现代价。

MPEG-4：DC/AC预测，对DC，AC系数进行差分预测，其他均为多方向空间预测
H.264/AVC：亮度上对4x4/8x8的块有9种预测模式，16x16的块有4种预测模式；色度上只有8x8的块4种预测模式。
AVS：亮度色度都是8x8的块，亮度上5种模式，色度上4种模式，但参考像素的获取和滤波有不同。
H.265/HEVC及AVS2在划分和预测方向上都更加精细。

3.1.2 帧间预测

预测方向：前向预测、后向预测、双向预测，对应的从一个参考帧到多个参考帧
预测精度：1/2、1/4、1/8、1/16像素精度

H.261：使用前一块的运动矢量作为预测，只支持P帧编码，整像素精度，单向预测
MPEG-1：使用前一块的运动矢量作为预测，半像素精度（双线性插值），双向预测
MPEG-4、H.263：16x16和8x8两种块，使用周围运动矢量中值作为预测，采用1/4像素精度
H.264/AVC、AVS1：可变块大小（16x16到4x4），自适应预测精度（到1/8预测精度，6抽头）
H.265/HEVC、AVS2：引入CU、PU、TU，引入merge模式，1/16像素精度（8抽头）。

3.2 运动的表示及估计

运动：平移运动、旋转运动。

3.2.1 基于像素的运动估计

光流技术：通过光流场对运动进行描述，可以描述旋转等“块无法完成的运动”，如下图的旋转。它针对单个像素。

光流约束方程：通过方程及运动矢量平滑约束，求得运动矢量（两个偏导）。

3.2.2 基于块的运动估计

算法：块匹配，即比较各个参考位置点关于残差和运动矢量的代价函数。
全搜索：遍历所有像素点，找到代价函数最优解，复杂度过高
快速搜索算法：根据预测失真随最佳位置的距离而单调上升原理，从某个参考位置开始，找到每一轮失真度最小的位置，继续进行下一轮。包含三步搜索法和六边形搜索法。
三步搜索法：每一步都搜索9个点，每一步搜索图案都减小一半，得到搜索结果。
六边形搜索法：看中心点和六边形顶点的代价值，找到最佳位置后再看临近四个像素的代价值，得到搜索结果。

全局搜索：以网格方式覆盖避免局部最优，如十字交叉搜索后16点网格搜索再六边形搜索。

3.2.3 全局运动估计

全局运动：摄像机的运动。
局部运动：单独对象的运动。

全局运动模型：摇移和缩放（3参数）、摇移缩放和旋转（4参数）、仿射（6参数）、二次（8参数）、投影（8参数）、抛物（12参数）。
全局运动估计方法：通过差分技术最小化预测误差、通过匹配技术最小化预测误差、由局部运动紧随全局运动参数的拟合而组成的两步法。

投影模型：（直直的）可用0到4对参考点，最多8参数，它可退化为其他小参数模型。

抛物模型：（会弯的）由12参数组成的二次方程。

3.3 子像素插值

平衡子像素精度带来的性能提升和所需码率。

3.3.1 子像素精度与插值滤波器

获取子像素：使用插值滤波器。
半像素插值：可用6抽头滤波器，用到左右三个相邻整像素；可用双线性插值。

3.3.2 自适应插值技术

使用线性回归的方式编码两次：第一册编码获得运动矢量的主要信息，第二次编码前利用这些信息，按最小二乘法训练，得到最优系数。（很复杂）

3.4 运动矢量预测

H.264/AVC：利用当前三个相邻块运动矢量的中值作为当前运动矢量的预测值，再将其与当前块运动矢量相减后的残差进行熵编码。
H.265/HEVC：使用AMVP，即多个候选MV中选出最优率失真，编码MV所在索引