读论文A progressive CNN in-loop filtering approach for inter frame coding

abstract

CNN环路滤波器用来增强视频质量。CNN模型通过学习原始帧与重建帧之间的关系来训练，训练好的CNN模型用在单个重建帧上增强视频质量。这种直接模型训练方法对帧内模式来说是有效的。但是由于没有考虑在帧间编码当中参考帧的相互依赖关系，这种直接训练的方法会造成过度滤波。为了解决这个问题，现有的方法通过RDO方法来选择性的使用CNN模型，但是这种方法没有解决CNN模型的单帧增强时局部优化的限制。这个文章提出了一个渐进式的方法去训练和嵌入CNN 环路滤波器到视频编码中。第一，文章开发了一个渐进式的训练方式去得到帧间模型。通过迁移学习，增强后的重建帧会再回到模型的训练当中，模拟在帧间编码的依赖关系。第二，在高码率编码中，过度滤波的影响不是那么强，他们设计了一个帧级的选择机制。实验证明文章提出的方法比RDO方法要好。

introduction

contribution

1，文章提出了一个渐进式的训练策略，这个策略考虑到了参考帧的相互关系。通过迁移学习，网络滤波后的重建帧再输入这个网络，对网络微调，通过这种方式来得到帧间的滤波模型
2，提出帧级别的RDO方法，把训练模型应用到视频编码当中。作者注意到，在高码率情况下，残差值比较大的时候，过度滤波问题会被降低。所以文章提出了在高码率情况下帧级模型选择策略，这个策略会决定当前帧是直接增强还是通过渐进方式增强。
3，文章的方式比RDO好

related work

解决帧间滤波，有这几种方式
1，直接滤波，不管帧间关系（这种方式主要应用在后处理，在帧间会有过度滤波问题）
2，用RDO去选择CNN模型（这种方法需要传输码字）
3，直接训练网络，再用一个分类器来决定是否用这个网络（也需要传输码字）
4，让模型有选择性的增强帧或者块

模型训练与嵌入方法

1，直接训练的损失函数

2，文章用VDCNN作为基础框架

3，图1，直接训练方式的结果

LDP效果下降严重，这是因为训练输入的图像性质和测试图像的性质是不一样的
4，帧间关系表示

这个公式表示R1会参考R0
如果直接用CNN的方式，那么


当对R1滤波的时候，CNN作用了两次。所以呢，训练与测试的条件因为帧间关系而变得不相同了，R1的性质相比于R0已经变了。

proposed approach

文章发现，当前的编码块被CNN滤波之后，在将来可能再被滤波。作者模拟这种情况，把已经被CNN滤波后的块加入到训练集当中，微调CNN模型。CNN0是直接方式训练的，X0滤波后产生X1.再用X0，X1训练网络，。。。

文章的关键思想是用数据模拟重复滤波现象

帧级模型选择

在QP22的时候，残差比较大，过度滤波现象会降低。在QP22等高质量编码的时候，会在原始直接模型的结果和文章提出的渐进式模型中选择，谁滤波好用谁。

迁移学习的应用

把上一个模型的参数，在下一次训练的时候继续用

experiment and results

1，LDP 比 RA需要更多的渐进次数。因为LDP一直在向后参考，但是RA会在一组GOP内参考，比如32帧当中。所以在LDP下过度滤波问题会更严重。
2，QP值越大，需要更大的渐进次数。因为QP越大，残差越小，非常接近0 。滤波之后性质改变更大。
3，某些帧对重复滤波不敏感，比如在QP22的时候，直接滤波和两次渐进滤波差不多，还有在QP22的某些序列上，比如BQTerrace，直接滤波会更好些。

3，迁移学习的好处

总体表现

1，模型选择

2，总体表现

4，在RDO上用渐进模型

5，更小的块

帧级别RDO

1，整体是好的

2，有些序列在QP22上表现不好

3，方法的适用性