底层视觉与MMEditing

• 来源
  • 底层视觉与MMEditing_哔哩哔哩_bilibili
• 超分辨率任务
  • 定义
    • 从低分辨率图像重构高分辨率图像
  • 目标
    • 提高图像分辨率
    • 恢复图像细节 产生真实内容
  • 应用场景
    • 照片修复
    • 节约传输图像耗费的带宽
    • 医疗 卫星 监控 空中监察
  • 类型
    • 多图超分
      • 常用于遥感影像
    • 单图超分
      • 不适定问题
      • 高分辨率图像不能唯一确定
• 经典方法：稀疏编码（Sparse Coding）
  • 思想：通过无监督学习方法 构建一组“基图像块” 使图像可以通过少数基图像块线性组合而成
  • 方法：
    
  • 缺点：训练和推理阶段都很耗时
    • 基于字典求解系数非常复杂
• 深度学习方法：
  • 基于卷积的模型
    • SRCNN
    • Fast SRCNN
  • 基于生成对抗网络的模型
    • SRGAN
    • ESRGAN
• 损失函数
  • 均方误差：比较恢复图像和原始图像之间的每个像素值，然后计算均方误差
  • 感知损失：通过预训练模型比较恢复图像和原始图像的特征图，然后计算均方误差
    
    
• 评价指标：
  • 峰值信噪比（Peak signal-to-noise ratio, PSNR）
• SRCNN
  • 意义：首个基于深度学习的超分辨率算法
  • 模型结构
    
  • 物理意义
    • 第一层：提取图像块低层次局部特征
    • 第二层：对低层次局部特征进行非线性变换，得到高层次特征
    • 第三层：组合邻域内的高层次特征，恢复高清图像
    • 整个方法流程和稀疏编码方法一一对应
  • 训练
    • 准备数据：将ImageNet数据集中的图像作为高分图像，先降采样再插值升采样得到低分图像
    • 损失函数：MSE
    • 优化方法：SGD
  • 问题
    • 先对低分图像进行插值，再在高分辨率下进行卷积运算
      • 插值不产生额外信息，因而产生一定冗余计算
    • 模型推理速度较慢，达不到实时的标准
• Fast SRCNN
  • 改进：不使用插值，直接在低分图像上进行卷积运算，降低运算量
  • 模型结构：
    • 通过1x1卷积层对特征图通道进行压缩
      • 减少特征映射过程中的计算量
    • 通过转置卷积层恢复图像分辨率
      
  • 优点：
    • 基于CPU进行推理时，速度可以达到实时的要求
    • 处理不同上采样倍数时，只需要微调反卷积的权重，固定特征映射层的参数
• SRResNet
• SRGAN
• ESRGAN