造未来

好像中了CVPR 2020？？？没有查到代码：https://github.com/jspan/blindvsr文章思路所谓盲超分：我的理解是目前大部分的图像和视频超分辨算法，他们所使用的退化模型都是已知的，比如Bicubic核，高斯模糊核。在我们使用CNN去建模时，CNN在超分过程中并不会对模糊核进行建模，因为它是已知的，这样导致的问题就是最后产生的超分结果很平滑，看上去就会显得比较模糊。（这个地方的疑惑是为什么已知了，CNN就不对其建模了？这个地方有大佬有更深入的理解，还望告诉在下，）所以盲.

出自ECCV2020文章思路这篇文章的出发点是：帧间和帧内中存在很多相似的内容，如何有效的利用这些内容上的相似性去超分目标帧。这种相似性如下图所示：基于此，作者提出了一个temporal multi-correspondence aggregation module（TM-CAM）以利用帧间内容上的相似性， cross-scalenonlocal-correspondence aggregation module（CN-CAM）以利用帧内内容上的相似行。整个算法的框架如下图所示：整个算法由.

代码：https://github.com/junpan19/RSDN文章出自ECCV 2020，与CVPR 2020 VSR-TGA出自同一个作者团队.文章思路这篇文章的创新点在于将一帧图像分为了Structure和Detail两部分，其中，Structure部分包含低频信息，而Detail部分包含高频信息，最后两者分别进行处理。算法的整体框架如下图：从上图可以看到这是一种类似循环网络的处理方式，但实际结构中并没有用到循环结构，它的思路和FRVSR这篇文章类似，即是用前一时刻的处理结果作为后.

代码：https://github.com/alterzero/STARnet】这是CVPR2020上发表的同时执行插帧和超分辨任务的文章。文章思路实验结果

代码链接：https://github.com/wxxxxxxh/A2F-SR算法思路这篇文章是发表在ACCV 2020 上的一篇轻量化超分文章，算法的思想很简单，主要提出了一个注意力辅助特征学习模块（Attentive Auxiliary Feature module ）。对于这个模块，一方面接收之前所有模块的输出，然后通过一个1*1卷积，将这些输出映射到同一个空间中，接着通过一个通道注意力模块，滤除冗余的信息，另一方面，仅对上一层的输出进行残差学习，最后这两部分的输出加起来得到当前注意力辅助特征学

这是CVPR2020的一篇视频超分辨文章，由清华和华为公司联合完成。代码链接：https://github.com/junpan19/VSR_TGA**文章思路**文章主要特点是提出一个分组分层提取时间信息的策略。具体的实现过程：1）首先讲=将输入的视频帧根据到目标帧的距离远近，分为不同的组别，比如七帧的输入[1，2，3，4，5，6，7]，分组后的结果是[1,4,7]，[2,4,6]，[3,4,5]，每一组中都含有目标帧，这是必须的，不然无法指导目标帧有效的超分。（这种分组效果相当于产生了不.

这是今年董超老师团队当前挂在arxiv上的一篇很有深度的文章，深入分析了在视频超分辨中，基于光流的对齐方式与可变形卷积的对齐方式之间的联系与区别。本人目前阅读了这篇文章，在这里写下自己的浅薄理解，后面有未理解清楚的地方或者有新的理解时再补充，同时欢迎大家指正留言。注：个人估计这篇文章还只是初稿，因为个人觉得有的地方还不是讲的很清楚，比如讲offset保真损失的时候，符号指代不是很明确，交代不够清楚。研究目标这篇文章的目的是理清可变形卷积应用于帧间对齐的本质，并分析它与基于光流的对齐方式的区别与联系，以

视频不清晰几乎是VR用户反馈最多的问题，可是全景视频制作团队明明提供的都是4K超高清视频，为什么还要接受那么多的吐槽，内容小伙伴感觉很糟心。如果可以的话，内容团队为什么不提供更好分辨率，更高清晰度的视频呢，原因也是多方面的。此4K非彼4K其实全景视频的4K跟普通的4K不是一个概念，4K代表视频图像的分辨率是3840×2160。4K电视播放4K视频的时候就是把3840×2160个像素点在屏幕上面显...

看的一篇图像超分辨推文，在这里记录一下，方便后续查阅。作为将模糊的图像变清晰的神奇技术，图像超分辨率技术在游戏、电影、相机、医疗影像等多个领域都有广泛的应用。在这篇文章中，微软亚洲研究院的研究员们为你总结了图像超分辨率问题中的主流方法、现存问题与解决方案。微软亚洲研究院在图像超分辨率领域的相关技术也已在顶级会议发表，并转化入 PowerPoint 产品中，我们将在后续文章中为大家解读。近年...

BNBatch Norm可谓深度学习中非常重要的技术，不仅可以使训练更深的网络变容易，加速收敛，还有一定正则化的效果，可以防止模型过拟合。在很多基于CNN的分类任务中，被大量使用。但在图像超分辨率和图像生成方面，Batch Norm的表现并不好，加入了Batch Norm，反而使得训练速度缓慢，不稳定，甚至最后发散。以图像超分辨率来说，网络输出的图像在色彩、对比度、亮度上要求和输入一致...

重采样主要是分为上采样和下采样，在进行采样的过程中，需要注意采样的倍率的问题，并不是可以随意的改变采样率的大小的，根据采样定理：在进行模拟/数字信号的转换过程中，当采样频率大于信号中最高频率的2倍时，采样之后的数字信号完整地保留了原始信号中的信息，一般实际应用中保证采样频率为信号是最高频率的5~10倍。采样定理又称奈奎斯特定理。采样频率：采样频率，也称为采样速度或者采样率，定义了每秒从连续信...

所谓上采样简单的讲就是将一幅图像的分别率提高，比如原始图像是256*256，经过2倍的上采样变为了512*512的图像。最常见的实现方式是插值，比如双线性插值，立方插值等，还有一些卷积方式的上采样操作，比如反卷积，亚像素卷积等。下面介绍一些相关的上采样操作：UnpoolingUnpooling是CNN中max pooling的逆操作。这是从2013年纽约大学Matthew D. Zei...

引入最近新出的图像风格转换算法，虽然效果好，但对于每一张要生成的图片，都需要初始化，然后保持CNN的参数不变，反向传播更新图像，得到最后的结果。性能问题堪忧。但是图像风格转换算法的成功，在生成图像领域，产生了一个非常重要的idea，那就是可以将卷积神经网络提取出的feature，作为目标函数的一部分，通过比较待生成的图片经过CNN的feature值与目标图片经过CNN的feature值，使得待...

该文是2019年CVPR上的视频超分辨论文。该文章主要是针对以前视频超分辨的缺点：将视频超分辨问题看作是大量的单独的多帧超分辨任务。每个多帧超分辨任务负责根据输入的多帧LR图像生成一个HR图像，这样产生的各个HR图像之间由于缺乏联系，在时间连续性上比较差，出现伪影。同时这样做的计算复杂度比较高。于是，作者提出在生成下一帧图像时，考虑之前生成的HR图像，将其也输入网络，这样不仅能产生时间连续的结...

该论文出自2018年。文章主要围绕如何充分利用以前层的信息，从而使用了dense连接和残差结构。dense连接可以将以前层的输出传递到当前层的输入上，从而可以充分利用以前层的特征信息。而残差结构可以使训练稳定并加速训练过程，提高网络性能。网络结构如下：该网络主要由四部分组成：1、shallow feature extraction net (SFENet)该层由两个卷积层组成，第一个...

ResNet与VDSR之间的比较，可以看出VDSR和ResNet很相似。

这篇论文是深度学习应用于图像超分辨的开山之作，个人认为很有必要阅读，因为它是传统超分辨算法与深度学习超分辨算法之间的一个过渡，描述了他们之间的变迁过程，即如何提出基于深度学习的超分辨算法的。该篇论文的网络结构的提出是基于稀疏编码的超分辨算法而来。通过类比基于稀疏编码的超分辨算法的各个处理过程，即下图1所示的三个过程：Patch extraction and representation，Non-...

所谓图像超分辨率就是试图从一个低分辨率的图像中恢复出一个高分辨率的图像。恢复出的高分辨率图像在纹理细节，边缘细节上应尽可能的清晰，避免产生过度平滑的图像，在视觉感知上看起来尽可能的真实。并不是一味地追求PSNR，这个指标越大并不代表越好，因为这样产生的图像在视觉上可能看起来并不真实，所以应当综合考虑，选取合适的损失函数。均方误差(MSE)偏好于更大的峰值信噪比(PSNR)，而感知损失(percep...

2019年小米提出的超分辨算法，已开源https://zhuanlan.zhihu.com/p/572546962018年，超分辨率最新算法总结https://blog.csdn.net/ywjy10280915/article/details/821490912018年，图像超分辨–DBPNhttps://blog.csdn.net/weixin_41036461/article/det...