底层视觉和MMEditing

底层视觉与MMEditing_哔哩哔哩_bilibili

 图像超分辨率

 图像超分辨率的目标

 应用：经典游戏高清重制

 

应用：动画高清重制

应用：照片修复

 

应用：节约传输高清图像的带宽

 

应用：民生领域

 

超分辨率的类型

 

 单图炒粉的解决思路

经典方法：稀疏编码 Sparse Coding

 

 

 

 稀疏编码的缺点

深度学习时代的超分辨率算法

 

 Super -Resolution CNN，SRCN，2014

 SRCNN模型功能划分

 

 第一层：特征提取

 第一层的卷积核

 第二层：非线性映射

第三层：图像重构

 SRCNN的训练

SRCNN的性能

 

SRCNN重置高清

 

 

SRCNN的速度问题

 

Fast SRCNN 2016

 

 复习：转置卷积扩大特征图尺寸

 缩小层和放大层

 FastSRCNN的优势

 转置卷积的缺陷

次像素卷积 Subpixel convolution

SRResNet 2016

 

感知损失vs均方误差

 

Mean Squared Error 均方误差

 

 感知损失

 特征重构损失函数

 对抗生成网络

 使用GAN生成图像

 使用GAN转译图像

 GAN应用于超分辨率

 图像数据在高位空间中的分步

 

 用神经网络表示数据分布

 

 如何学习生成器网络

 GAN的优化目标

 基于多层感知器的GAN模型

 Deep Convolutional GAN，DCGAN

 GAN应用于图像超分辨率

 SRGAN 2017

 SRGAN的训练

 Enhanced SRGAN 2018

 使用RRDB模块替换残差模块

 使用RaGAN替换GAN

 使用非线性激活前的响应计算感知损失

 使用非线性激活前的响应计算感知损失

 ESRGAN的性能比较

 利用多帧进行超分

 视频复原的典型流程

 EDVR

 

 可变形卷积 Deformable Convolution

 

 

 

 

BasicVSR