底层视觉与MMEditing

这部分内容其实跟我们的实际生活很近，简单来说就是当我们看视频时会有不清晰的时候，怎样让其变清晰，又或者是很多年前的老照片，由于当时的技术不太成熟，得到的照片不太清晰，或者由于放置时间太长导致不清晰等等，我们如何将其变清晰。

图像超分辨率Super Resolution

什么是图像超分辨率？
就是把图像放大，恢复的很清晰。即根据从低分辨率图像重构高分辨率图像。
图像超分辨率的目标：

• 提高图像的分辨率
• 高分图像符合低分图像的内容
• 恢复图像的细节、产生真实的内容→双线性或双立方插值不能恢复图像的高频细节
  超分辨率的类型：
• 多图超分：2倍放大，常见于遥感影像
• 单图超分

基于卷积网络的模型SRCNN与FSRCNN

使用卷积神经网络，端到端从低分辨率图像恢复高分辨率图像

SRCNN

SRCNN是首个基于深度学习的超分辨率算法，证明了深度学习再底层视觉的可行性。
模型仅由三层卷积层构成，可以端到端学习，不需要额外的前后处理步骤。

SRCNN的单个卷积层有明确的物理意义：
第一层：提取图像块的低层次局部特征；
第二层：对低层次局部特征进行非线性变换，得到高层次特征；
第三层：组合领域内的高层次特征，恢复高清图像。

SRCNN的训练

• 准备数据：将ImageNet数据集中的图像作为高分图像，降采样再插值升采样得到的图像作为低分图像。
• 需要学习的参数
  
• 损失函数：逐像素计算恢复图像和原高分图像的平方误差（Mean Squared Error,MSE）
  
• 通过标准的SGD训练模型
  

SRCNN的性能

FSRCNN

Fast SRCNN在SRCNN的基础上针对速度进行了改进：
1、不使用插值，直接在低分辨率图像上完成卷积运算，降低运算量
2、使用1×1的卷积层对特征图通道进行压缩，进一步降低卷积的运算量
3、若干卷积层后再通过转置卷积层提高图像分辨率

FSRCNN的优势

• 基于CPU进行推理，速度可以达到实时；
• 在处理不同上采样倍数时，只需要微调反卷积的权重，特征映射层的参数额可以保持不变，大幅加快训练速度。

损失函数

逐像素计算的损失函数

比较恢复图像与原始高分图像的每个像素值，并计算均方误差。
例如：SRCNN和FSRCNN中用到的均方误差损失（MSE Loss）

感知损失函数

比较恢复图像与原始高分图像的语义特征，并计算损失。
语义特征的计算由预先训练的神经网络模型给出。
例如：使用在ImageNet数据集上预训练好的神经网络计算语义特征。

特征重构损失函数

特征重构损失直接计算特征图之间的欧氏距离。

对抗生成网络GAN简介

对抗生成网络是一种基于神经网络的无监督学习模型，可以建模数据的分布，并通过采样生成新数据。

用神经网络表示数据分布

如何学习生成器网络

对抗训练

GAN的优化目标

基于GAN的模型SRGAN与ESRGAN

采用生成对抗网络的策略，鼓励产生细节更为真实的高分辨率图像。

SRGAN

SRGAN在SRResNet的基础上额外增加了判别器网络，用于区分训练集中的高分图像（真实图像）以及SRResNet恢复的高分图像（虚假图像）

SRGAN的训练

ESRGAN

Enhanced SRGAN从网络结构、感知损失、对抗损失三个角度对SRGAN进行了全面改进，在超分辨率效果上取得了很大的提升空间，同时获得了PIRM2018超分辨率挑战赛冠军。

使用RRDB模块替换残差模块

使用RaGAN替换GAN

使用非线性激活前的响应计算感知损失
原因1：激活后的响应值更稀疏，削弱监督信号的强度。使用更为密集的、激活前的响应计算感知损失有助于恢复图像中的细节信息。
原因2：使用激活后的响应容易使恢复图像产生亮度上的偏移。

ESRGAN的性能比较

视频超分辨率介绍

利用多帧进行超分。
视频复原的典型流程：

EDVR

适用于多种视频超分任务。为了处理快速而复杂的运动。