【openMMLab实战营】底层视觉与MMEditing

1.超分辨率技术

利用差分技术，提高图像的分辨率

2.方法

稀疏编码：缺点训练推理费时

卷积的方法：

        SRCNN:

        FSRCNN

生成对抗网络的方法

        SRGAN

        ESRGAN

3.升采样的方法

转置卷积：缺点会造成棋盘缺陷

次像素卷积：得到r的平方通道的特征图，再排列成rxr面积的图像

4.处理过程

1. 插值得到目标尺寸的图像
2. 卷积产生低分辨率图像特征图
3. 卷积产生高分辨率图像特征图
4. 恢复得到高分辨率图像

4.训练方法

准备数据（高分图像和低分图像），需要学习的参数（三个卷积的权重和偏差），损失函数，通过标准的SGD训练模型

说明：三层卷积的作用为：特征提取，非线性映射，图像重构

5.损失函数

均方误差：鼓励恢复图像的像素值与高分图像相近

感知损失：鼓励恢复图像的高层特征与高分图像相近

对抗损失：鼓励恢复图像更真实、细节更丰富

6.评估指标：峰值信噪比（PSNR）

最新的有关论文：

        1. Enhanced SRGAN

        移除batch normalization，引入衰减因子；增加更多跨层链接；用RaGAN替换GAN；

        2. EDVR 视频超分辨率

        网络结构图：

1. 下采样
2. 预去模糊
3. 对齐
4. 融合
5. 重建
6. 上采样

        特征：

PCD：金字塔级联变形对齐处理大的运动，使用形变卷积

TSA：时空注意力机制

        可变形卷积：标准卷积操作中采样位置增加了一个偏移量，后续学习偏移量

        视屏复原的典型过程

1. 对齐  利用光流
2. 融合
3. 特征提取
4. 重建