视频编码中为什么将残差作为传输信号？

预测法是最简单和实用的视频压缩编码方法，这时压缩编码后传输的并不是像素本身的取样幅值，而是该取样的预测值和实际值之差。

为什么取像素预测值与实际值之差作为传输的信号？因为大量统计表明，同一幅图像的邻近像素之间有着相关性，或者说这些像素值相似。邻近像素之间发生突变或“很不相似”概率很小。而且同帧图像中邻近行之间对应位置的像素之间也有较强的相关性。人们可以利用这些性质进行视频压缩编码。这种预测编码也称为差分脉冲编码（DPCM）。

大量统计表明，由于相关性的存在，邻近像素值之差很小，差值信号的方差是很小的。由于图像的误差信号的方差与图像信号本身的方差相比较小，其量化器的动态范围可以缩小，相应的量化分层数目就可以减少，每个像素的编码比特数也显著下降，而且不至于使视频质量明显降低，到达视频压缩的目的。

---

——参考书籍：《新一代视频压缩编码标准——H.264/AVC》