视频编码中的块效应、振铃效应和呼吸效应分析

1、块效应：

（1）概念：

主要是由视频图像采用基于块的编码方式和量化造成相邻块之间存在明显差异的现象，在视频编码中人眼察觉到的小块边界处的不连续。

（2）产生原因：

1、编码过程中对残差进行DCT变换是基于块的，使得块与块之间的相关性被忽略了；

2、对DCT系数进行量化，不同的图像块做了不同的处理。

（3）解决方案：

在视频编码中，为了解决或减小块效应，很多视频编码标准（H264，H265，SVAC）中采用了去块滤波Deblock的方案。

2、振铃效应：

（1）概念：

图像处理中，对一幅图像进行滤波处理，若选用的频域滤波器具有陡峭的变化，则会使滤波图像产生“振铃”，所谓“振铃”，就是指输出图像的灰度剧烈变化处产生的震荡，就好像钟被敲击后产生的空气震荡。

（2）产生原因：

主要是由于DCT变换后对高频分量进行滤波操作导致。

（3）解决方案：

在视频编码中，为了解决或减小振铃效应，H265和SVAC2中采用了SAO样点滤波偏移的方案。

3、呼吸效应：

（1）概念：

视频编码中的呼吸效应是指由于I帧的插入造成图像质量忽然变好，切换到P帧后又忽然变差。

一般情况下，我们都会将I帧调的比较大，一个GOP内，离I帧越远的P帧，编码误差越大，图像降质也越严重，当下一个I帧出现时，图像又立即变得清楚起来，纵观整个视频流，就会周期性出现清楚到模糊的突变，我们称这种现象为呼吸效应。

呼吸效应在静止的场景下比较容易观察出来，运动场景中，大部分的图像内容都在变化，不容易发现。

（2）分析：

呼吸效应在静止的场景下比较容易观察出来，运动场景中，大部分的图像内容都在变化，不容易发现。尤其在低码率的视频监控场景下，呼吸效应比较明显。

产生的主要原因：I帧和P帧的编码模式和编码质量的不同，导致视觉上图像不连续。

（3）解决方案：

一般情况下，CBR（固定码率）码控方式比CQP（固定QP）的呼吸效应更加严重。因此将码控模式修改为CQP方式在一定程度上可以减弱呼吸效应。
H264/5可以调节I帧P帧直接qp的偏差，控制I帧和P帧的大小比例关系，I帧的qp越小，I帧越大，图像越清楚，在一定程度上提升了整体图像质量，呼吸效应在一定程度上可以得到缓解；但是I帧也不能调的过大，在CBR模式下，I帧把全部带宽都吃掉了，P帧就只能编的更模糊一些，反而加重了呼吸效应；在实际调节过程中，就是通过调整intraQpDelta/intraQpOffset这类的参数来调节I帧大小；在ISP中，如果有3DSR功能，针对静止场景，可以有效改善呼吸效应。该解决方案参考：https://blog.csdn.net/szfhy/article/details/79882903
HISI提出了前滤波编码的方案，基于HISI编码器的硬件实现，对I帧的编码数据进行滤波操作然后再编码，可以改善呼吸效应，对应MPI接口为HI_MPI_VENC_GetDeBreathEffect和HI_MPI_VENC_SetDeBreathEffect。

总结：
块效应：基于块的编码方式和量化造成相邻块之间存在明显差异的现象；
振铃效应：对图像进行滤波处理时，输出图像的灰度剧烈变化处产生的震荡，就好像钟被敲击后产生的空气震荡；
呼吸效应：一个GOP内，离I帧越远的P帧，编码误差越大，图像降质也越严重，当下一个I帧出现时，图像又立即变得清楚起来，纵观整个视频流，就会周期性出现清楚到模糊的突变。

参考：
https://blog.csdn.net/SoaringLee_fighting
https://blog.csdn.net/SoaringLee_fighting/article/details/80639732