2019_A Swichchable Deep Learning Approach for In-Loop Filtering in Video Coding

Abstract:

• 深度学习在编码效率和主观质量上为视频编码的环路滤波提供了巨大的潜力。最先进的工作致力于网络结构设计并且利用单一强大的网络解决所有问题。相反，本文提出了一种基于深度学习的系统方法，包括有效的卷积神经网络结构，分层训练策略和面向视频编码器的切换机制。首先，我们提出了一种新颖的CNN结构，也就是压缩和激励滤波CNN(Squeeze-and-Excitation
  Filering CNN,SEFCNN)作为可选的环路滤波，为了捕获通道之间的非线性交互，SEFCNN由两个子网络组成，也就是特征提取子网络(Feature EXtraction, FEX)和特征增强子网络(Feature ENhancing,FEN)。然后我们开发了一种分层模型训练策略以使两个子网络适应不同的编码场景。对于具有小伪影的高速视频，我们使用FEX对所有类型的视频帧训练单个全局模型，而对于具有较大伪影的低速视频，使用FEX和FEN为不同类型的视频帧训练不同的模型。最后，我们提出了一种自适应增强机制，它可以在基于CNN和传统方法之间切换。我们选择性的将CNN模型应用到某些帧或者帧内的某些区域。实验结果表明提出的方案优于最先进的编码方法，而GPU加速后的计算复杂度是可以接受的。

Conclusion

• 这篇文章提出了一种系统的基于CNN的方法来解决视频编码中的环路滤波问题，我们开发了一种新颖的网络架构SEFCNN，它由两个子网络FEX和FEN组成，以利用通道间的相关性和相互依赖性。在SEFCNN基础上，我们利用分层模型训练策略，针对不同的编码场景自适应的部署整个SEFCNN或者子网。在将该方案整合进视频编码器中时，我们采用了从帧级到CU级的切换机制，成功避免了双重增强效应，提高了编码效率。