OpenMMLab-10-底层视觉与MMEditing

课程网址：https://www.bilibili.com/video/BV1hu4y1o7jU/?vd_source=ae559b21f4fd00a217335ef2c3e5b8b2

图像超分辨率 Super Resolution基于卷积网络的模型SRCNN与FSRCNN

图像超分辨率Super Resolution
什么是图像超分辨率？
就是把图像放大，恢复的很清晰。即根据从低分辨率图像重构高分辨率图像。
图像超分辨率的目标：

提高图像的分辨率
高分图像符合低分图像的内容
恢复图像的细节、产生真实的内容→双线性或双立方插值不能恢复图像的高频细节
超分辨率的类型：
多图超分：2倍放大，常见于遥感影像
单图超分
基于卷积网络的模型SRCNN与FSRCNN
使用卷积神经网络，端到端从低分辨率图像恢复高分辨率图像

SRCNN
SRCNN是首个基于深度学习的超分辨率算法，证明了深度学习再底层视觉的可行性。
模型仅由三层卷积层构成，可以端到端学习，不需要额外的前后处理步骤。

SRCNN的单个卷积层有明确的物理意义：
第一层：提取图像块的低层次局部特征；
第二层：对低层次局部特征进行非线性变换，得到高层次特征；
第三层：组合领域内的高层次特征，恢复高清图像。

SRCNN的训练
准备数据：将ImageNet数据集中的图像作为高分图像，降采样再插值升采样得到的图像作为低分图像。
需要学习的参数

损失函数

损失函数：逐像素计算恢复图像和原高分图像的平方误差（Mean Squared Error,MSE）

通过标准的SGD训练模型

SRCNN的性能

FSRCNN
Fast SRCNN在SRCNN的基础上针对速度进行了改进：
1、不使用插值，直接在低分辨率图像上完成卷积运算，降低运算量
2、使用1×1的卷积层对特征图通道进行压缩，进一步降低卷积的运算量
3、若干卷积层后再通过转置卷积层提高图像分辨率

FSRCNN的优势
基于CPU进行推理，速度可以达到实时；
在处理不同上采样倍数时，只需要微调反卷积的权重，特征映射层的参数额可以保持不变，大幅加快训练速度。
损失函数
逐像素计算的损失函数
比较恢复图像与原始高分图像的每个像素值，并计算均方误差。
例如：SRCNN和FSRCNN中用到的均方误差损失（MSE Loss）

感知损失函数
比较恢复图像与原始高分图像的语义特征，并计算损失。
语义特征的计算由预先训练的神经网络模型给出。
例如：使用在ImageNet数据集上预训练好的神经网络计算语义特征。

特征重构损失函数
特征重构损失直接计算特征图之间的欧氏距离。

对抗生成网络GAN简介

对抗生成网络是一种基于神经网络的无监督学习模型，可以建模数据的分布，并通过采样生成新数据。

• 用神经网络表示数据分布

• 如何学习生成器网络

• 对抗训练

• GAN的优化目标

基于GAN 的模型 SRGAN 与ESRGAN

基于GAN的模型SRGAN与ESRGAN
采用生成对抗网络的策略，鼓励产生细节更为真实的高分辨率图像。

• SRGAN
  SRGAN在SRResNet的基础上额外增加了判别器网络，用于区分训练集中的高分图像（真实图像）以及SRResNet恢复的高分图像（虚假图像）

  • SRGAN的训练

• ESRGAN
  Enhanced SRGAN从网络结构、感知损失、对抗损失三个角度对SRGAN进行了全面改进，在超分辨率效果上取得了很大的提升空间，同时获得了PIRM2018超分辨率挑战赛冠军。

• 使用RRDB模块替换残差模块

• 使用RaGAN替换GAN

• 使用非线性激活前的响应计算感知损失
  原因1：激活后的响应值更稀疏，削弱监督信号的强度。使用更为密集的、激活前的响应计算感知损失有助于恢复图像中的细节信息。
  原因2：使用激活后的响应容易使恢复图像产生亮度上的偏移。

• ESRGAN的性能比较

视频超分辨率介绍

利用多帧进行超分。

• 视频复原的典型流程

• EDVR
  适用于多种视频超分任务。为了处理快速而复杂的运动。

实践MMEditing1