视频地址:底层视觉与MMEditing_哔哩哔哩_bilibili
一、图像超分辨率Super Resolution
图片超分:从低分辨率图像重构高分辨率图像;
多图超分:常见于遥感影像;
单图超分;基于已知数据的先验知识;
经典方法:稀疏编码 Sparse Coding
1、基于卷积网络的模型 SRCNN 与FSRCNN
SRCNN 是首个基于深度学习的超分辨率算法,证明了深度学习在底层视觉的可行性模型仅由三层卷积层构成构成,可以端到端学习,不需要额外的前后处理步骤。
SRCNN 的单个卷积层有明确的物理意义
- 第一层:提取图像块的低层次局部特征:
- 第二层:对低层次局部特征进行非线性变换,得到高层次特征,
- 第三层:组合邻域内的高层次特征,恢复高清图像
第一层:特征提取
第二层:非线性映射
第三层:图像重构
SRCNN性能
Fast SRCNN
优势:
- 1.基于CPU 进行推理,速度可以达到实时;
- 2.在处理不同上采样倍数时,只需要微调反卷积的权重,特征映射层的参数额可以保持不变,大幅加快训练速度。
2、损失函数
逐像素计算的损失函数
比较恢复图像与原始高分图像的每个像素值,并计算均方误差
例如:SRCNN和FSRCNN 中用到的均方误差损失(MSE Loss)
感知损失函数
比较恢复图像与原始高分图像的语义特征,并计算损失
语义特征的计算由预先训练的神经网络模型给出。例如:使用在ImageNet数据集上预训练好的神经网络计算语义特征
3、对抗生成网络简介
对抗生成网络是一种基于神经网络的无监督学习模型,可以建模数据的分布,并通过采样生成新数据;
4、基于GAN的模型 SRGAN与ESRGAN
5、视频超分辨率介绍