既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上C C++开发知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
3. 全局和局部网络结构设计
- 残差学习（residual learning），在ResNet被提出之前，在超分领域对残差进行学习的思想已经在很多研究工作中出现。其中，全局残差学习（global residual learning）只是学习插值后得到的图像和高分辨率图像之间的残差，通过学习一张残差图来恢复高频细节；而局部残差学习（local residual learning）则类似于ResNet中的短连接（shortcut connection）。
- 递归学习（recursive learning）可以不引入额外参数的同时，大大增加网络的感受野，做法就是递归地多次使用同个模块，例如对同一卷积层递归使用多次，还有将大的超分倍增系数的问题，分解成多个子问题，使用递归的网络子结构来解决等等。但是，递归学习容易出现梯度消失和爆炸的问题，需要将残差学习和多级监督等策略融入进来以减轻这些问题。
- 多支路学习（multi-path learning）主要思路是为网络设计多条支路来提升模型的容量和表达能力，分为全局多支路学习（global multi-path learning）、局部多支路学习（localmulti-path learning）、尺度相关的多支路学习（scale-specificmulti-path learning）等
- 稠密连接（dense connections），是与DenseNet紧密联系的，稠密连接被引入图像超分问题，不仅可以减轻梯度消失的问题，还可以对特征进行重用，提升效果，在使用小的增长率（growth rate）时，可以很好地控制参数量，目前越来越受到关注和使用。
- 通道重缩放（channel attention）是考虑特征表达中不同通道之间的关系，通常是引入一些额外的小结构来按通道（channel-wise）进行重缩放（rescale）。
- 高级卷积结构（advanced convolution）,近来受到关注的主要是空洞卷积（dilated convolution）和成组卷积（group convolution）两种。
- 像素递归学习（pixel recursive learning），这类方法是逐像素生成（pixel-by-pixel generation）高分辨率图像的，可以更好地捕获全局上下文信息和像素序列生成时的相关性，但是计算代价很高，同时训练也比较复杂。
- 金字塔池化（pyramid pooling）通常使用多个不同的尺度参数，来聚合全局和局部上下文信息。
- 小波域变换（wavelet transformation）分别对高分辨图像和低分辨率图像进行小波变换，在不同的子频带（sub-bands）进行映射学习。
4. 损失函数设计
- 像素级（pixel loss），主要比较两幅图像像素级的差别，包括L1和L2损失，近来研究表明L1损失可以取得更好的性能和收敛速度。这类损失没有对图像内容和语义进行评价，通常会产生过于平滑的超分结果。
- 内容损失（content loss），主要是从图像内容理解和感知层面对图像质量进行评价，通常使用预训练好的图像识别（如VGG和ResNet等）网络，比较中间某些层的特征图之间的欧式空间距离。
- 纹理损失（texture loss），想法来源于风格迁移工作中，重建图像应该与原始图像有相同的风格（颜色、纹理、对比度等）。因此，纹理损失又称为风格重建损失（style reconstruction loss）,一般使用不同特征通道的相关性来度量。
- 竞争生成损失（adversial loss），随着GAN的兴起，竞争生成网络中生成器和判别器的思路被引入超分问题，超分网络即是生成器（generator）,另外定义一个判别器来判断输入的图像是否为生成的。在这种损失函数中，也可以借鉴内容损失的想法，判别器使用图像的高层表达来进行判断。
- 往复一致性保持损失（cycle consistency loss）,受CycleGAN的启发，通常是在两阶段生成时，保持再次生成的图像和原始输入相同。
- 全变分损失（total variation loss）,主要是为了抑制生成图像中的噪声，一般定义是相邻像素之间差的绝对值，引入全变分损失可以使图像变得平滑。
- 基于先验知识的损失（prior-based loss），通过一些外部已知的先验，作为一些约束放入损失函数，例如人脸超分对关键点的约束等。
5. 批归一化
批归一化（BatchNormalization，BN）层在很多视觉任务中被验证有效，但是在最近关于超分中使用BN层存在一些争议，部分研究者指出使用BN层会丢失图像的尺度信息和网络参数的自由范围变化，导致超分效果下降。
6. 课程学习
课程学习（curriculumlearning）从简单的子任务开始逐渐增加难度，因为图像超分问题存在很多困难情形，如大的超分倍增系数，噪声，模糊等，这种从易到难的策略可以起到很大帮助。例如，可以将8x的超分问题分解成三个子问题，1x到2x，2x到4x，4x到8x，为每个子问题单独学习一个网络。
7. 多级监督
多级监督（multi-supervision）为网络的学习增加多个额外的监督信号，可以有效减轻梯度消失和爆炸问题，例如在递归式结构中就可以使用多级监督策略，对每一级递归产生的结果进行监督，通常多级监督的表现形式是在损失函数里添加了若干相关项。
8. 其他网络设计和学习策略
- 上下文融合网络（context-wise network fusion，CNF），将多个超分网络模型的结果使用stacking的策略融合起来。
- 数据增强（data augmentation）,常见的随机裁剪、翻转、缩放、旋转、颜色微小抖动等，最近也出现了随机打乱RGB三个通道的方法。
- 多任务学习（multi-task learning），通过训练数据中和超分相关联的任务蕴含的专有领域的信息来提升模型的泛化性能。例如可以分别训练一个去噪网络和一个超分网络，或者嵌入预训练好的语义分割网络来提供语义信息等。
- 网络插值（network interpolation），为了平衡视觉质量和图像保真度，可以对两个网络相应参数进行插值，来生成中间模型，不需要重训练就可以得到折中的超分结果。
- 图像自融合（self ensemble），又称预测增强（enhanced prediction），将一张图像多种旋转角度后，得到一组图像，分别得到超分辨图像，然后逆旋转回到原始角度，将所有这组超分辨率图像进行加权平均或者取中值，得到最终的超分结果。
9. 无监督图像超分辨率
监督学习的图像超分辨率，基本上是学习了人为设计的图像降质过程的逆过程，需要LR-HR的图像对（image pairs），与实际场景中的图像超分问题不太符合。实际中的超分问题，只有不成对（unpaired）的低分辨率和高分辨图像可以用来进行训练。无监督的图像超分辨率也受到越来越多关注。
- 零样本学习的图像超分
考虑到图像自身内容就可以为超分提供统计信息，因此，可以不用在大数据集上训练一个普适超分模型，而是在测试阶段训练一个专有图像的超分网络，比如可以使用核估计（kernel estimation）的方法在单张测试图像中估计降质过程，但是这类方法每张图像测试时都需要学习一个网络，非常耗时。
- 弱监督学习的图像超分
近来弱监督学习的图像超分主要有两类方法，一类是学习HR到LR的降质过程，一类是同时学习LR到HR，HR到LR这种往复的映射（cycle-in-cycle）关系。
- 深度图像先验
深度图像先验（DeepImage Prior）目前主要是使用随机初始化的CNN作为手工设计的先验去进行超分。
10. 超分在专有领域的应用
目前图像在专有领域的超分，主要有深度图像超分、人脸图像超分、高光谱图像超分、视频图像超分、检测分割中的小物体超分等。
发展趋势
下面从超分网络结构设计、学习策略、评价指标、无监督学习、实际场景等几个方面，来阐述一下图像超分领域的发展趋势。
1. 网络结构设计
- 融合局部和全局信息
- 融合底层和高层信息
- 不同上下文信息区别对待的注意力机制
- 轻量化网络结构
- 升采样层的改进
2. 学习策略
- 精确表达图像差异的损失函数设计
- 适合图像超分的归一化方法
3. 评价指标
- 全面评价超分图像质量的主客观统一指标
- 无参考图像的图像质量评价
4. 无监督的图像超分
- 不成对的低分辨率和高分辨图像之间的降质过程进行学习，而不再使用人工设计好的降质过程去生成低分辨率和高分辨率图像对。
5. 实际场景中的图像超分
- 适应多种多样的降质过程
- 专有领域图像超分的应用
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上C C++开发知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
体系化！**
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
8518
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
