底层视觉与MMEditing

视频地址：底层视觉与MMEditing_哔哩哔哩_bilibili

一、图像超分辨率Super Resolution

图片超分：从低分辨率图像重构高分辨率图像；

多图超分：常见于遥感影像；

单图超分；基于已知数据的先验知识；

        经典方法：稀疏编码 Sparse Coding

1、基于卷积网络的模型 SRCNN 与FSRCNN

        SRCNN 是首个基于深度学习的超分辨率算法，证明了深度学习在底层视觉的可行性模型仅由三层卷积层构成构成，可以端到端学习，不需要额外的前后处理步骤。

SRCNN 的单个卷积层有明确的物理意义

• 第一层:提取图像块的低层次局部特征:
• 第二层:对低层次局部特征进行非线性变换，得到高层次特征，
• 第三层:组合邻域内的高层次特征，恢复高清图像

第一层：特征提取 

第二层：非线性映射

第三层：图像重构 

 SRCNN性能

Fast SRCNN

优势：

• 1.基于CPU 进行推理，速度可以达到实时;
• 2.在处理不同上采样倍数时，只需要微调反卷积的权重，特征映射层的参数额可以保持不变，大幅加快训练速度。

2、损失函数

逐像素计算的损失函数
        比较恢复图像与原始高分图像的每个像素值，并计算均方误差

例如:SRCNN和FSRCNN 中用到的均方误差损失(MSE Loss)

感知损失函数
        比较恢复图像与原始高分图像的语义特征，并计算损失

        语义特征的计算由预先训练的神经网络模型给出。例如:使用在ImageNet数据集上预训练好的神经网络计算语义特征

3、对抗生成网络简介

        对抗生成网络是一种基于神经网络的无监督学习模型，可以建模数据的分布，并通过采样生成新数据；

 

4、基于GAN的模型 SRGAN与ESRGAN

5、视频超分辨率介绍