AI实战营：通用视觉框架OpenMMLab底层视觉与MMEditing

本文介绍了图像超分辨率的原理和不同类型，包括基于深度学习的SRCNN、FSRCNN、SRResNet等模型，以及使用对抗生成网络的SRGAN和ESRGAN，这些方法在提升图像细节和真实感方面取得进展。此外，还探讨了视频超分辨率技术，如EDVR和可变形卷积的应用。

摘要由CSDN通过智能技术生成

图像超分辨率 Super Resolution

深度学习时代的超分辨率算法

卷积网络模型SRCNN FSRCNN SRResNet

Super-Resolution CNN, SRCNN, 2014

Fast SRCNN 2016

SRResNet 2016

对抗生成网络介绍Ganerative Adversarial Network

基于GAN的模型SRGAN与ESRGAN

SRGAN2017

Enhanced SRGAN 2018

视频超分辨率Video Super Resolution

图像超分辨率 Super Resolution
- 图像超分辨率：根据从低分辨率图像重构高分辨率图像
- 图像超分辨率的目标：
- 超分辨率的类型：
- 单图超分的解决思路
- 经典方法：稀疏编码Sparse Coding
  - 稀疏编码的缺点：
- 深度学习时代的超分辨率算法
  - 基于卷积网络和普通损失函数
    - 使用卷积神经网络，端到端从低分辨率图像恢复高分辨率图像
    - 代表算法：SRCNN与FSRCNN
  - 使用生成对抗网络
    - 采用生成对抗网络的策略，鼓励产生细节更为真实的高分辨率图像
    - 代表算法：SRGAN与ESRGAN
- 卷积网络模型SRCNN FSRCNN SRResNet
- Super-Resolution CNN, SRCNN, 2014
  - SRCNN模型功能划分
    - 第一层：特征提取
    - 第一层的卷积核
    - 第二层：非线性映射
    - 第三层：图像重构
    - SRCNN的训练
    - SRCNN的性能
    - SRCNN的速度问题
- Fast SRCNN 2016
  - 转置卷积扩大特征图尺寸
  - 缩小层和放大层
  - FSRCNN的优势
  - 转置卷积的缺陷
  - 次像素卷积Subpixel convolution
- SRResNet 2016
- 图像超分辨率中的损失函数 MSE Loss, Perceptual Loss
  - 感知损失 vs 均方误差
  - Mean Squared Error 均方误差
  - 感知损失
  - 特征重构损失函数
- 对抗生成网络介绍Ganerative Adversarial Network
  - 使用GAN生成图像
  - 使用GAN转译图像
  - GAN应用于超分辨率
  - 图像数据在高维空间中的分布
  - 用神经网络表示数据分布
  - 如何学习生成器网络
  - 对抗训练
  - GAN的优化目标
  - 基于多层感知器的GAN模型
  - Deep Convolutional GAN，DCGAN
  - GAN 应用于图像超分辨率
基于GAN的模型SRGAN与ESRGAN
- SRGAN2017
  - SRGAN的训练
- Enhanced SRGAN 2018
  - 使用RRDB模块替换残差模块
  - 使用RaGAN替换GAN
  - 使用非线性激活前的响应计算感知损失
  - ESRGAN的性能比较
  - ESRGAN修复经典游戏
视频超分辨率Video Super Resolution
- 利用多帧进行超分
- 视频复原的典型流程
- EDVR
- 可变形卷积Deformable Convolution
- 用于对齐的可变形卷积
BasicVSR