画质增强概述-3.1-AI增强实践之超分训练

三 画质增强的AI增强实践

画质增强处理从方法上可以分为传统方法和深度学习(AI)方法，他们是互相补充的关系，传统方法相对而言性能会好些，AI方法吃GPU、吃算力，很多课题AI方法效果远非传统方法科比，典型的如超分、超帧(频率上采样)、补全、降噪等等，这篇重点介绍AI方法的超分实践，主要分三部分：训练、推理和应用

3.1 训练

3.1.1 超分主干网络

对超分历年比较经典的主干网络做了一次梳理和调研，如下图

这个梳理和调研还是有非常大价值的，然后把他们预训练模型用自己真实场景的素材跑一遍看下效果，另外主干网络的代码一般都不会很复杂，对照论文和代码自己过一遍，一般就有数了，我最终超分选择的主干网络是 RCAN，选择的训练开源框架是 KAIR，github 链接如下： https://github.com/cszn/KAIR

 当然 KAIR 生成网络不支持RCAN，可以自己加上去，也不复杂。

这里值得提一下的项目是阿里的 GPEN (图片人脸增强，效果着实惊艳，可惜不太适合做视频人脸增强)

3.1.2 数据集

常见数据集如下：

人脸以 FFHQ 为主

通用场景是 DIV2K、Flickr2K、商汤的OST

屏幕内容是我自制数据集，主要是屏幕截图所得

3.1.3 数据预处理

数据预处理是在超分同时，实现降噪、去模糊、去马赛克等处理的关键

不同场景的模型，训练所需的数据集是不同的，且对应的数据预处理方式也不同，场景定制模型的化，采用特定数据集加特定预处理方法，一般而言收益可以比较显著：模型效果更好、模型参数可以更少，典型的是我训练的屏幕内容超分模型，数据集用的是自己电脑截图的PNG图片，模型也不大，pth 大约几百k，提升效果却非常显著，如下图

3.1.4 训练过程及损失函数

KAIR中，一般是先只训练生成器，损失函数主要是 PSNR，然后在此基础上再加入判别器继续二阶段训练，该阶段一般会新增两个损失函数，分别是感知损失和判别器损失

 3.1.5 训练中的常见问题

从我自己的经验，训练主要障碍是超分生成的图片容易失真，不自然

现在主流的做法，基本都会采用 GAN 的方式来训练超分网络，那么判别器损失是需要重点关注的指标，该损失过小，意味着生成的图片失真比较严重