编码方法跟图像的描述模型有关。如果采用“一幅图像由许多像素构成”的描述模型,编解码器的输入参数是每个像素的亮度和色度的幅度值。对这些参数的压缩编码称为基于波形的编码。如果采用一个分量有几个物体构成的描述模型,编解码器的输入参数是各个物体的形状、纹理和运动,对这些参数进行压缩编码称为基于内容的编码。
根据采用的描述模型,视频编码分为两大类:基于波形和基于内容的编码。它们利用不同的编码方法,得到相应的量化前的参数,再对这些参数进行量化,最后进行无损熵编码进一步压缩码率。
基于波形的编码
利用像素间的相关性和帧间的时间相关性,采用预测编码和变换编码可以减少视频信号的相关性。基于波形的编码采用了把预测编码和变换编码组合起来的基于块的混合混合编码方法。为了减少编码的复杂度,采用混合编码方法时,首先把一幅图像分成固定大小的块,然后对块进行压缩编码。
基于内容的编码
基于波形的编码易于操作,但由于人为地把一幅图像划分成许多固定大小的块,当包含边界的块属于不同物体时,它们分别具有不同的运动方式,这种边界块必然会产生高的预测误差和失真。而基于内容的编码,即对不同物体的形状、纹理、运动进行编码。在最简单的情况下、利用二维轮廓默描述物体的形状、利用运动矢a量描述其运动状态,而纹理则用颜色的波形进行描述。当视频序列中的物体种类已知时,可采用基于知识或基于模型的编码。人的脸部,已经开发了一些预定义的线框对脸的特征进行编码。
MPEG-4 采用的编码方法就既有基于块的混合编码,又有基于内容的编码方法。