【深度学习学习资料记录】

图像超分辨率介绍：

sr的比较全面的基本知识介绍：https://zhuanlan.zhihu.com/p/393371989

基本任务

低分辨率重建到高分辨率，如2x，4x，8x等
根据任务可以分为单图片超分SISR，多图片超分和视频超分等
其他特殊分类：（个人初步认识，很可能存在认识错误）
盲图像超分blind sr：复杂多级策略模拟真实失真，如下采样+模糊+噪音+JPEG画质转换等
参考图片超分ref sr：给定类似场景其他高清图像，有参考reference图像
相机超分camera sr：针对相机拍摄过程中的失真进行模拟仿真？相机采集高低分辨率图像？

数据集

一般会使用已知的下采样方式（最常用bicubic）来得到成对的数据（但是不能很好的模拟真实情况），部分采用不同的相机或者相机不同的配置，获取成对高低分辨率图片（获取难度大需要配准）。
其他参考：https://mp.weixin.qq.com/s/bWJmv0Z4M91La5NmDeY3ag

模型结构：

从引入深度学习方法SRCNN (ECCV2014，先bicubic上采样再三层卷积拟合高分辨率结果)，到加速方法使其更加实时性FSRCNN（ECCV2016,先不扩大图像尺寸最后再反卷积放大，1x1卷积降维和升维），提出新的亚像素上采样方式ESPCN（CVPR2016, HWrr ----> rHrW）, 采用残差的方式降低学习难度？VDSR（CVPR2016，全局残差）等等。 引入GAN方法提高感官质量，引入更多高频细节SRGAN（CVPR2016，判别器区分真实高分辨率图像和生成重建的高分辨率图片）及其发展优化ESRGAN，real-ESRGAN。（参考https://wjrsbu.smartapps.cn/zhihu/article?id=31664818&isShared=1&_swebfr=1&_swebFromHost=heytapbrowser）
----->好奇各种激活函数的效果和对比（ReLU,tanh,PReLU等）

上采样方法：

插值方法：最近邻插值、双线性插值、双三层bibubic插值
cnn方法：反卷积、亚像素sub-pix

上采样方式：

前置：先上采样再神经网络拟合，如srcnn，先bicubic上采样，优点拟合难度小，缺点一开始就高分辨率cnn计算量大，
后置：先神经网络特征提取，最后采用cnn方法进行上采样，引入噪音少速度快，成为主流方法
渐进：中间过程不断上采样，多级结构渐进恢复（1x->2x->4x->8x）如lapsrn
反复上下采样：？

损失函数：

像素损失：l1，l2计算超分辨率恢复图像和原始高分辨率图像之间的像素差
感知损失：在特征图上进行特征差异计算，一般采用vgg，是否会更换成实际任务训练的backbone更好？
对抗损失：cnn区分是否为真实还是生成的超分辨率图像，或者概率

评价标准：

定量指标：PSNR、SSIM直接计算
定性：人工观察评价MOS

用处：

（1）提高图像观感，如手机相册
（2）辅助提高其他任务，如图像分类、目标检测？

深度学习的sr方法发展介绍:

https://wjrsbu.smartapps.cn/zhihu/article?id=31664818&isShared=1&_swebfr=1&_swebFromHost=heytapbrowser

sr论文汇总：

https://yapengtian.org/Single-Image-Super-Resolution/

视频超分辨率资料：

比较好的拆解：https://zhuanlan.zhihu.com/p/331454415

cv自监督介绍入门：

simclr系列、moco系列、swav、byol、simsiam方法介绍与发展：

https://www.zhihu.com/search?type=content&q=cv%E8%87%AA%E7%9B%91%E7%9D%A3%E7%BB%BC%E8%BF%B0

目标检测模型训练技巧

https://mp.weixin.qq.com/s?__biz=MzIyMjIxNDk3OA==&mid=2651682070&idx=2&sn=3a6f5be7e461b5d32e75ac88da4327fe&chksm=f3c93b3bc4beb22d1b74eff4f294d9914747282158fd2c50c5a6c9bdf55cb9a79873e540f1a1&cur_album_id=1338480951000727554&scene=189#wechat_redirect