Encoder 相关的图像质量问题

之前有介绍过成像系统的组成， sensor 输出raw 数据，经过ISP处理后，输出YUV信号， 最终需经过h264/h265编码后 以视频流的方式输出 显示出来。编码的 目的就是将原始的ISP输出的图像进行压缩，使传输、存储的size变小，由于压缩过程中，算法或者资源不足的问题，会导致的图像质量损失，所表现出的形式有很多种，本文主要介绍的是编码相关图像质量问题。

1、问题现象

• blockyness/mosaic

看起来一块一块的，或者马赛克的现象，算法分析时，会将图像分成mxn个块，在运算时每个块就是一个操作的单元，如果这个操作单元失败了，或者做错了，那么这个操作单元就会和其他的有明显不同，也就出现了以块为基础的图像质量问题。

• ringing 

震铃现象，文字及图像边缘出现很多条边，在拍摄文字图像时比较常见。

• contouring

类似等高线现象。

• gost

鬼影，拍摄运动物体比较常见。由于帧间信息量很大，经过压缩后，后面带宽很小，承受不了那么大的内容，会使信息丢失，则出现运动物体的残留现象。

• blurry

图像局部区域出现模糊，常出现在高频细节区域，因为高频细节区域内容信息多，由于带宽等的限制，需要更高的压缩比，使得内容信息丢失，从而变得模糊。

• staircase

视频压缩导致的边缘台阶现象。

• mosquito

类似蚊子一样的噪声，和ringing 类似，但相比ringing，mosquito在边界的外边缘，且范围也要大些，有可能还带些颜色。

2、问题分析

不管是 ISP 的图像质量问题，还是编码导致的图像质量问题，我们在遇到问题时，首先要做的就是缩小范围。排查镜头、IR、sensor、ISP、编码、显示等模块，确定到底是哪一块导致的问题。

常见的，比如可以通过抓 raw 图来排查是 sensor 的问题，还是后端图像处理的问题。可以通过抓 YUV 图来排查是 ISP 的问题，还是编码的问题。若是 ISP 的问题，则可以通过依次 bypass isp pipeline 中的硬件模块，来排查具体是哪个硬件模块的问题。