笔记——视频编码标准

H.261标准

由于会议电视和可视电话的需要，CCITT 发布了码率为 p×64Kbps（p＝1,2,3,4,5,30） 的 H.261 建议，这个视频编码方案对以后各种视频编码标准产生了深远影响，直至今天。
图像格式：
H.261 用于视频通信，会产生多个国家的互通困难的问题，不同国家采用不同的彩电制 式，不可能直接互通。H.261 采用一种公共中间格式(CIF，Common Intermediate Format)， 不论何种彩色格式，发送方先把自己国家的彩电制式转换成 CIF 格式，经 H.261 编码后再由 CIF 格式转换到接收方彩电制式。
采用 CIF 及 QCIF 格式时，视频信号的结构采用如图所示的图像、块组(GOB，group of block)、宏块(MB，macroblock)、块(B，block)四级结构。每帧 CIF 图像由 2 个 GOB 组成，每个 GOB 由 33 个 MB 组成，每个 MB 由 4 个亮度块和 1 个 Cr 块及 1 个 Cb 块组成， 每个块（B）又由 8×8 像素构成。一帧 QCIF 图像由 3 个 GOB 组成。

不论 CIF 还是 QCIF 格式帧都为 29.97 帧/秒≈30 帧/秒，如果每像素的量化取 8 比特，彩 色格式取 4:2:0，码率分别为：
CIF：352×288×8×30×1.5＝36.5 Mbps
QCIF：176×144×8×30×1.5＝9.1 Mbps
显然，这样高的码率不经过视频压缩编码要通过 ISDN 的 64Kbps～2.048Mbps 信道是不 可能的。

H.261 视频编解码器：

H.261 视频编解码器结构如图所示，视频信源编码器用于视频信号的码率压缩，主 要采用混合编码方法；视频复合编码器将每帧图像数据编排成四层结构，并通过熵编码对视 频数据进一步压缩输出。传输缓冲器和码率控制器用于保证输出码流尽可能稳定。传输编码 器则用于视频数据的误码检测和纠正。解码器各部分功能与编码器相反。

H.263编码标准

H.263视频信源编码算法：
H.263 的视频信源编码框图与 H.261 相同，信源编码方法也类似，不同的是 H.263 输入 有多种格式，输出为 H.263 码流。传输码率初定为低于 64Kbps，但实际上其应用范围已 远远超出低码率图像编码范围，如 16QCIF 已是高清晰度电视水平。可以说，H.263 也适于 高速率图像编码。
为了适应低码率传输要求，并进一步提高图像质量，H.263+、H.263++做了不少改进， 增加了若干选项，现选择主要技术介绍如下：
(1)运动矢量，H.263 中 1 个 MB 可以使用 1 个运动矢量表示，也可以 4 个 8×8 块各 使用 1 个运动矢量表示，提高运动估计精确性和压缩比。（H.261 规定每个 MB 使用 1 个运 动矢量。
(2)半像素预测，H.263 为进一步提高压缩比，采用半像素预测，而 H.261 采用整像 素预测，预测精度明显低于 H.263。
(3)二维预测，H.263 采用二维预测，H.261 采用一维预测。
(4)非限制的运动矢量模式（选项） ，H.263 的运动矢量范围允许指向图像帧之外。
(5)基于句法的算术编码（选项），显著降低码率，但复杂度比哈夫曼编码高。
(6)高级预测模式（选项），H.263 除可以采用每个 8×8 块 1 个运动矢量，每个 16×16 宏块 4 个运动矢量外，还采用 OBMC 运动补偿方式，以减少方块效应。
(7)PB 帧模式（选项） ，PB 帧由 1 个 P 帧和 1 个 B 帧组成。P 帧由前一帧预测而得。B 帧由双向（前向和后向）预测而得，分别用前向 MV、后向 MV、前后向 MV 平均进行运 动补偿得 3 个预测误差，取其小者作为 B 帧的预测误差进行编码

MPEG-1 标准

(1)视频压缩编码，压缩后码率在 1.5Mbps，可用于视频传输和视频存储；编码前必 须将视频图像转换成逐行扫描图像。
(2)录像机的正放、图像冻结快进、快退和慢放功能以及随机存储功能。
MPEG-1的图像类型：
I、P、B 图像
I 图像即帧内（Intra）图像，采用帧内 编码，不参考其它图像，但可作为其它类型图像的参考帧。P 图像即预测（Predicted）图像， 采用帧间编码，参考前一幅 I 或 P 图像，用作运动补偿。B 图像即双向预测(Bi- predicted)图像，参考前后两个方向图像。

双向预测编码可解决“暴露”问题，即某物体在前一帧未显示出来，但在后一帧却“暴露” 出来，双向预测能更准确地找出运动矢量，并只有在视频存储、VOD 等非实时通信及数字 广播电视中应用。会议电视、可视电话等实时通信中不宜应用 B 图像，因为实时通信后一 帧处在当前帧之后，当前帧编码时它尚未出现。

MPEG-2

MPEG-2 码流分为三层，即基本流(ES，elementary bit stream)、包基本码流(PES，packet elementary stream)和复用后的传送码流(TS，transport stream)、节目码流(PS，program stream)。
ES：由视频压缩编码后的视频基本码流(Video ES)和音频压缩编码后的音频基本码流 (Audio ES)组成。
PES：把视音频 ES 分别打包，长度可变，长为 216字节。
TS、PS：若干个节目的 PES 复用后输出为传输流 TS 和节目流 PS，分别用于传输和存储。

ES 码流结构
ES 码流采用图像序列(PS)、图像组(GOP)、图像§、片(slice)、宏块(MB)、块(B)六层结构，具体结构见图

（1）图像序列层，图像序列包括若干 GOP，序列头包含起始码和序列参数，如档次、 级别、彩色图像格式、帧场选择等等；
（2）图像组层，图像组包含若干幅图像，组头包含起始码、GOP 标志等，如视频磁带 记录器时间、控制码、B 帧处理码等；
（3）图像层，一幅图像包含若干片，头信息中有起始码、P 标志，如时间、参考帧号、 图像类型、MV、分级等；
（4）片层，片是小的同步单位，包含若干宏块，片头中有起始码、片地址、量化步 长等；
（5）宏块层，宏块由 4 个 8×8 亮度块和 2 个色度块组成，宏块头包括宏块地址、宏块 类型、运动矢量等。

基于帧或场的 DCT 编码
MPEG-2 可用于逐行扫描图像也可用于隔行扫描图像。对逐行扫描图像，可按行分割成 块，基于块进行 DCT 变换。对逐行扫描图像，一帧由两场组成，于是就有基于帧的分割和 基于场的分割两种宏块结构.

同一帧内的各邻近行之间空间相关性比同一场内各邻近行之间的相关性要强。因此基于 帧的 DCT 编码适用于相对静止或慢运动的景物。
同一场内各邻近行之间时间相关性比同一帧内各邻近行之间的时间相关性要强（因为同 一帧内当前行的下一行要等到一场扫描完后才出现在当前行之下，时间相关性弱），基于场 的 DCT 编码适用于运动大的景物。
根据帧的行间相关系数和场的行间相关系数可判定采用帧分割还是场分割进行编码

参考：《新一代视频压缩编码标准——H.264/AVC》