底层视觉与MMEditing

图像超分辨率任务：目标提高图像分辨率、高分图像符合低分图像内容、恢复图像的细节。

超分辨率的类型

1、多图超分：利用多帧低清晰度的图像通过一定重建算法得到高清晰图像，常见于遥感影像和视频超分。

2、单图超分：通过一张低清晰度的图像通过一定重建算法得到高清晰图像，但是单图超分是不适定问题，对于给定低分辨率图像，高分辨率图像不能唯一确定。

单图超分的解决思路：

1.基于已知数据学习高分辨率图像之间的关系：先验知识

2.在符合先验知识的条件下恢复高清图像

 

 

 第一层特征提取经典方法通常将图像分成小块，并基于一系列基底对图像块进行分解(常用算法有PAC、DCT、Haar小波等)，分解系数向量即为图像块在基底上的表示。这个操作等价于用一系列卷积核（对应基底）对原图进行卷积

第二层卷积将F1(Y)每个位置上n1维度的特征非线性映射为一个n2维特征，该特征可以看作是图像块在高分基底上的表示，在后一层中应用于重构。非线性映射可以有很多层实验表明只用单层卷积就可以达到很好的效果。

第三层的卷积核对应高分辨率基底，用F2(Y)中的系数对高分基底加权求和即可得到高分图形块。

超分图像中常用loss：

感知损失：比较恢复图像与原始高分图像的语义特征，并计算损失。语义特征由预先训练的神经网络模型给出

均方误差：比较每个恢复图像与原始高分图像的每个像素值，并计算均方误差。