WangsyHebut的博客

作者单位：西交、字节智能创造实验室、南理工编者言：现有的VSR算法都没有讨论来自静止目标和背景的时间冗余的影响。时间冗余会给信息传播带来不利影响，这限制了现有的VSR的性能。本文通过优化的方式处理时间冗余补丁来改进现有的VSR算法，开发了两种简单有效的即插即用方法，改善了现有的滑窗和循环的VSR算法。VSR的相邻帧包含静止物体、背景等相似内容(时间冗余)。如果这些时间冗余内容主导了传播过程，由于没有从时间域引入额外的有用信息，将不利于重建。

作者单位：京东探索研究院笔者言： 如何对齐是VSR中具有挑战的任务，光流方法和可变性卷积在中等运动的视频中具有显著优势，然而在处理大运动视频时会失效。本文通过非局部注意方式跳过对齐来融合相邻帧，在大运动视频上实现了SOTA。本文提出了一种内存增强非本地注意网络（MANA）。以前的方法主要利用相邻帧来辅助当前帧的超分。这些方法在空间帧对齐方面存在挑战，并且缺乏来自相邻帧的有用信息。相比之下，本文设计了一种跨帧非局部注意机制，允许视频在没有帧对齐的情况下实现超分，从而对视频中的大运动更加健壮。

作者单位：赛峰电子与防务、巴黎萨克雷大学等现有循环VSR对于慢动作的长时间序列的处理并不理想，比如视频监控的应用中。由于不精确隐藏状态叠加，随着时间推移超分辨率结果会产生伪影。针对这个问题，本文从Lipschitz稳定性的角度分析并对VSR进行约束来稳定推理过程。循环VSR模型在推理小动作范围的长视频序列时（其中一些场景几乎没有移动），循环处理产生偏差导致高频伪影。本文首先构造了一个长时间序列数据集 — Quasi-Static，然后在这个数据集上揭示了这种不稳定性。

作者单位：清华深研院、上海人工智能实验室、悉尼大学等XPixel的又一力作，作者在各个方面分析了应用在Transformer中使用各种现有对齐方法，进一步说明了保存亚像素信息的重要性，并提出图像补丁对齐方法，在REDS4上达到了32.72db。对齐向来是 VSR 中的重要操作，然而自注意机制的进展可能会违背这一常识。本文重新思考了 Transformer VSR 中对齐的作用，并进行了一些反直觉的观察。

本文出自xintao大佬团队，AnimeSR的主要贡献如下：从真实的LQ动画中学习降质算子以更好地捕捉真实退化的分布；构建了一个大规模的HQ动画视频数据集AVC以便于动画VSR的训练和评估；有效的“输入缩放策略”使学习这些神经操作成为可能；进一步研究了一种高效的多尺度网络结构使AnimeSR实现SOTA。输入缩放策略略显主观，更加客观的筛选方案时候是否是后续可以继续研究的内容呢，其次，过往单项VSR的输入为LRt−1LR_{t-1}LRt−1​和LRtLR_tLRt​。...

作者单位：清华深研院、字节、苏黎世联邦理工将剪枝技术应用到VSR中以实现更加有效和高效的VSR，在时延、参数量、FLOPs、PSNR的综合评估上实现了较好的性能，剪枝后的BasicVSR相比EDVRM实现了0.46dB的增益并只需其三分之一的推理时间。在资源受限的设备上运行VSR需要更轻和更快的方法。...

（本文首发于"我爱计算机视觉"，如需转载等事宜请联系我爱计算机视觉）作者单位：苏黎世联邦理工、Meta、维尔茨堡大学论文链接：https://arxiv.org/pdf/2206.02146.pdf代码链接：https://github.com/JingyunLiang/RVRT笔者言： Jingyun大佬继SwinIR，VRT之后的又一篇力作，在Transformer结构中套用了循环架构（笔者最近也在research这个点，奈何大佬太猛了）并从帧级对齐扩展到片段对齐。RVRT在VID4上超过了VR

论文：循环结构细节网络的视频超分辨率代码：https://github.com/junpan19/RSDN文章检索出自：ECCV 2020作者单位：清华大学、华为诺亚方舟实验室、悉尼大学本文提出了一种新颖的循环网络视频超分方法，该方法在VID4测试集上的最高PSNR值达到了恐怖的27.92，远远超过了第二名，亮点如下：总体采用循环神经网络的架构，每一个循环单元的输入为[ItLR,It−1LR,ht−1SD,S^t−1,D^t−1I_t^{LR},I_{t-1}^{LR},h_{t-1}^{SD},\h

论文：Revisiting Temporal Modeling for Video Super-resolution代码：https://github.com/junpan19/RRN本文提出了一种简洁而又高效的超分架构，在测试集上一帧只需45ms PSNR就可以达到27.69，具有很大的实用价值，亮点如下：2D CNN：采用了几个改进的2D残差块，每个块由3×3卷积层和ReLU组成。模型以2T+1个连续帧为输入，首先先在通道维度串联，然后通过一批残差块，输出shape大小为H×W×Cr2的残差特征图，通

作者单位：麦克马斯特大学论文：https://arxiv.org/pdf/2102.13011.pdf近年来，大量的视频增强研究致力于同时提高时间帧速率和空间分辨率，这些方法要么不能揭示时空信息之间的内在联系，要么在最终的时空分辨率的选择上缺乏灵活性。本文主要贡献如下：USTVSRNet能够在单个模型上按任意因子进行上采样。实验结果表明，该方法优于两阶段的SOTA方法，且计算量显著降低。USTVSRNet的总体结构如下图所示，它主要由4个子网络组成：帧内插网络（FINet）、特征提取网络、增强网络（En

论文连接：https://arxiv.org/pdf/2103.15683.pdf作者单位：武汉大学、哈尔滨工业大学、武汉工业大学译者言：本文可以看做是PFNL（同一作者）的续作。LOVSR是将PFNL和混合架构的结合，GOVSR是PFNL和双向混合架构的结合。虽然模型在Vid4上最高可以达到28.41dB，但是训练数据集与大众不同，虽然作者最后也在Vimeo-90K中进行了实验，但是并没有给出在Vid4等测试集上的测试结果，具体数据还得等代码开源后进行额外测试。滑动窗口方法(a)只能通过增加窗口大小来

论文链接：https://arxiv.org/pdf/2104.13371.pdf代码链接：https://github.com/open-mmlab/mmediting译者言：该文作者Kelvin C.K. Chan同为BasicVSR(2021CVPR)和Understanding Deformable Alignment…(AAAI2021)的第一作者，他用对于可变形对齐和传播架构的新理解来改进BasicVSR，在2021NTIRE挑战中一举获得三冠一亚，同时还在Vid4数据集上突破了29dB的.

论文链接：https://arxiv.org/pdf/2104.14852.pdf比赛链接：https://competitions.codalab.org/competitions/28051译者言：NTIRE2021已于近日落下帷幕。BasicVSR++在VSR赛道摘得桂冠，同时它在Vid4的测试集中也突破了29dB的大关；OVSR模型在比赛中也有亮眼的表现，其他许多局部+全局的方案也取得了较高的PSNR值，可谓是神仙打架。相比之下，STSR赛道并没有特别突出的方法。下文将会回顾这场比赛中两个赛道对

论文连接：https://arxiv.org/pdf/2106.06847.pdf代码链接：https://github.com/caojiezhang/VSR-Transformer译者言：ETHz出品，第一篇在VSR中使用的Transformer模型，方法与思想值得学习。模型与实验没有文章中大批量的数学公式那样惊艳，有数学推理癖好的读者建议直接阅读原文。Transformer应用在VSR中有两大问题：为了解决第一个问题，本文提出了一个时空卷积自注意层以利用局部信息。对于第二个问题，本文设计了一个双向

作者单位：北京邮电大学、Intel中国研究院论文链接：https://arxiv.org/abs/2108.08202代码链接：https://github.com/Neural-video-delivery/CaFM-Pytorch-ICCV2021译者言：本文没有以网络结构的创新为切入点，而是利用超分辩率算法去优化神经网络视频传输任务，开辟了一个可以和工业界对接的新的研究方向。本文首先研究了在神经视频传输中不同块的模型之间的关系，然后设计了一个拥有内容感知特征调制层(CaFM)的联合训练框架来压缩

论文链接：https://arxiv.org/abs/2103.14858代码链接：https://github.com/ding3820/MIMO-VRN编者言： 本文以视频缩放任务为切入点，将IRN视频超分话化。与normal的VSR不同点在于将降采样也加入学习任务，这或许是后VSR时代一个不错的研究方向。最近的大多数研究都集中在基于图像的上下采样联合优化方案上，这些方案不考虑时间信息，为此，本文提出了基于耦合层可逆神经网络的两种联合优化方案。长短期记忆视频缩放网络(LSTM-VRN)利用低分辨率视

作者单位：香港理工大学、阿里巴巴达摩院论文链接：https://www4.comp.polyu.edu.hk/~cslzhang/paper/ICCV21_RealVSR.pdf代码链接：https://github.com/IanYeung/RealVSR编者言： 这篇是19年ICCV的Toward real-world SISR一文的VSR版本。相比之前VSR方法中较为单一的损失，该文作者对于Y通道和CbCr通道的理解和附加的损失处理让人眼前一亮。人工退化模型并不能很好地描述真实视频中复杂的退化过

作者单位：上交、北理、百度论文链接：https://arxiv.org/pdf/2107.11639.pdf编者言： 本文将视频缩放任务与视频压缩任务和视频动作识别任务联系起来，将模型中不可微分的模块通过辅助DNN训练求梯度的方法来进行模型的训练，相比H.265实现了较好的压缩率和恢复效果。本文提出了一个视频缩放的自条件概率框架（SelfC），以同时学习成对缩放过程。在训练时，在LR视频中有强时空先验信息的条件下，通过最大化降采样丢失信息的概率来减少丢失的信息熵。该方法利用LR视频中丰富的时间信息，通过

作者单位：谷歌论文链接：https://arxiv.org/pdf/2105.01237.pdf编者言： 针对H.264等视频压缩标准压缩后的视频进行超分，定量和定性效果相比过去的VSR算法有较大提升，有一定的业界价值。VSR专注于从LR视频中恢复HR视频，在对高度压缩的输入视频进行超分时往往会产生严重的伪影。本文提出了一种压缩感知超分辨率模型(COMISR)，该模型可以在具有不同压缩级别的真实视频中表现良好。该模型由三个视频超分辨率模块组成:双向翘曲循环、细节保留的流估计和拉普拉斯增强。所有这三个模块

作者单位：西电、鹏城实验室论文链接：https://arxiv.org/pdf/2103.11744.pdf编者言： VSR任务中第一个设计对偶学习的方案，多阶上采样的方法和添加对偶子网与对偶损失可以参考与学习本文的主要亮点如下：DSMC包含一个VSR子网(MSCU)和一个对偶子网，如下图所示：模型首先对输入的2m+1帧进行可变形卷积，进行粗特征提取。然后输出的特征图通过可变形残差网络(DResNet)处理，在考虑时间特征之前提取精细的空间信息。然后，将特征图输入到三维卷积u形密集残差网络 (U3D

作者单位：中科大论文链接：https://openaccess.thecvf.com/content/CVPR2021/papers/Xiao_Space-Time_Distillation_for_Video_Super-Resolution_CVPR_2021_paper.pdf编者言：将知识蒸馏结合时空特征应用到VSR任务上，加强了学生网络的时空建模能力，验证了知识蒸馏方案在VSR任务上的可行性。紧凑的VSR网络可以很容易地部署在智能手机等设备上，但与复杂VSR网络存在较大的性能差距。为此，本文提

看点本文通过实验发现，由于局部损失驱动偏移预测和缺乏显式运动约束，可变形对齐方法仍然存在快速运动问题。为此，本文提出了一个基于匹配的流估计模块(MFE)以进行全局语义特征匹配，并以粗偏移量的方式为每个位置估计光流。方法实验......

作者单位：南洋理工大学论文链接：https://arxiv.org/pdf/2111.12704.pdf代码链接：https://github.com/ckkelvinchan/RealBasicVSR编者言： BasicVSR与BasicVSR++作者围绕BasicVSR的又一力作，把BasicVSR应用到了真实世界数据集中，实现了前所未有的视觉重建效果。真实世界VSR中的退化多样性和复杂性是不可忽视的挑战，本文围绕真实世界VSR完成如下三块的论述：VSR网络通过聚合来自多个帧的信息来增强细节并提高

作者单位：汉阳大学论文链接：https://arxiv.org/pdf/2103.10081.pdf编者言：本文采样半监督的方式训练VSR网络，并为知识蒸馏与基于自监督的SR任务的结合开辟了一个有趣的研究方向。自监督的SISR方法显示了不错的效果，但是扩展到视频超分方面还有待研究。摄像机或物体的前后运动在多帧中产生不同尺度的重复patch，较大的patch可能比相邻帧中相应的较小的patch包含更详细的信息，这些额外的细节有助于增强重建质量。为此，本文提出了一种基于patch复发性的自监督方法，允许VS

作者单位：港中文、思谋论文链接：https://arxiv.org/pdf/2111.15288代码链接：https://github.com/redrock303/Revisiting-Temporal-Alignment-for-Video-Restoration.git编者言：本文主要侧重对视频帧中时间对齐的研究，提出了一种迭代对齐的方式来精细视频帧之间的对齐，从而成功的刷新了众多视频low-level领域的成绩！代码也已开源！看点对于视频恢复任务来说长距离时间对齐是重要的且具有挑战性的。.

作者单位：百度论文链接：https://arxiv.org/pdf/2112.02828.pdf代码链接：https://github.com/PaddlePaddle/PaddleGAN编者言：本文将局部窗口方法与循环方法相结合，在REDS4数据集上超越了BasicVSR++实现了SOTA，代码已开源！VSR任务的关键是充分利用帧间的互补信息来进行重构。由于来自不同帧的图像具有不同的运动和场景，因此准确对齐多帧并有效融合不同帧一直是VSR任务的关键研究工作。为了利用相邻帧丰富的互补信息，本文提出一个

（如需转载等事宜请联系"我爱计算机视觉"）作者单位：南理工论文链接：https://arxiv.org/pdf/2201.07422.pdf代码链接：https://github.com/csbhr/Self-Blind-VSR编者言：以往的VSR采用监督的方式，生成SR图像与HR进行监督。本文采取自监督的方法（监督LR）来对网络进行训练约束，为盲视频SR算法应用自监督学习的开端之作，代码已开源。现有的VSR方法通常依赖于监督学习方法，其中训练数据通常由已知或预定义核（例如双三次核）的模糊操作生成。

作者单位：苏黎世联邦理工、鲁汶大学、维尔兹堡大学论文链接：https://arxiv.org/pdf/2202.01731v1.pdf编者言：不同于现阶段VSR的两大热点研究方向：真实世界/盲VSR、VSR与传输，本文作者在实时在线领域超分方向实现突破，这与IPRRN一文的出发点类似。本文DAP的效果堪比EDVR，但是时间缩短了三倍，180P视频在线可达26FPS！VSR的应用具有严格的因果、实时等限制。这存在两个挑战：未来帧的信息不可用、设计高效且有效的帧对齐和融合模块。本文提出了一种基于可变形注意金

（如需转载等事宜请联系"我爱计算机视觉"）作者单位：苏黎世联邦理工大学、Meta、鲁汶大学论文链接：https://arxiv.org/pdf/2201.12288.pdf代码链接：https://github.com/JingyunLiang/VRT编者言：本文为将Swin Transformer应用于单图超分中的SwinIR的视频扩展版本，在视频复原的各领域中都有很大的提升，本文将从视频超分方向来解读VRT。VSR通常需要利用多个相邻但通常不对齐的视频帧的时间信息。现有的方法通常利用滑动窗口策略

（如需转载等事宜请联系"我爱计算机视觉"）作者单位：快手、大连理工、港理工、北大等论文链接：https://arxiv.org/pdf/2204.07114.pdf笔者言： 之前的循环VSR方法大多将相邻帧参考帧以及前一时刻的SR输出作为输入，本文将未来的SR输出也参与进参考帧的重建，通过伪相邻SR的方式精进细节，这让笔者眼前一亮。大多数VSR都采用光流或可变形卷积进行运动补偿。然而，这种时间建模技术增加了模型的复杂性，并且在遮挡或复杂运动的情况下可能会失败。本文旨在探索显式时间差分建模在LR和HR空

（如需转载等事宜请联系"我爱计算机视觉"）作者单位：腾讯PCG ARC实验室论文链接：https://arxiv.org/pdf/2205.05069代码链接：https://github.com/TencentARC/Efficient-VSR-Training笔者言： VSR的训练雀食很费时间，本文提出多重网格训练和大型minibatch的办法来加速训练。客观的讲，空间周期变化对PSNR的影响相较时间周期要敏感一些，大型minibatch的方法固然可以加快速度但是使用中还需考虑显存问题。整体看来

（如需转载等事宜请联系"我爱计算机视觉"）作者单位：清华大学深研院、华为诺亚方舟Lab、ETHz论文链接：https://arxiv.org/pdf/2205.10195代码链接：https://github.com/linjing7/VR-Baseline笔者言： 本文将Seq2Seq的架构引入到了视频超分中，其次针对光流不准的问题，之前的文章选择使用DCN进行替代，本文从另一个角度出发，通过知识蒸馏的方法来训练更准的光流，想法很好但是相比于DCN的效果还有待进一步的优化。如何正确建模视频序列中的

论文：帧和特征上下文的视频超分辨率文章检索出处：AAAI 2019对于视频超分辨率，当前的方法要么是以滑动窗口的方式去处理多个相邻帧，要么是利用先前估计的HR帧来超分下一帧。这些方法的主要缺点是：1）单独生成每个输出帧可以获得高质量的HR帧，但是会导致令人不满意的伪影；2）组合先前生成的HR帧可以产生时间上一致的结果，但是，由于之前的超分误差不断累积到后续帧中，会造成明显的抖动和锯齿状伪影。本文提出了基于帧和特征上下文的视频超分辨率网络（FFCVSR），该网络由两个子网络组成：局部网络和上下文网络。局部网

论文：用于视频超分辨率的残差可逆时空网络代码：https://github.com/lizhuangzi/RISTN文章检索出处：AAAI 2019本文提出了一种新的端到端架构，称为残差可逆时空网络（RISTN），与现有的基于循环卷积网络的方法相比，RISTN方法更深入，效率更高，且实现了STOA，主要贡献如下：1）设计了一种轻量级残差可逆块（RIB），以更好地保持LR帧和相应的SR帧之间的空间信息。在RIB中，引入残差连接来学习细粒度特征表示，同时降低了信息的丢失。2）提出了一种新的残差密集卷积L

论文：应用双向循环卷积网络的视频超分辨率方法代码：https://github.com/linan142857/BRCN文章检索出处：IEEE TPAMI 2017考虑到RNN可以很好地模拟视频序列的长期时间依赖性，本文提出了一种双向循环卷积网络（BRCN）。主要贡献如下：1）提出了一种适用于多帧SR的双向循环卷积网络，其中时间依赖性可以通过循环卷积和三维前馈卷积有效地建模。2）它是一个端到端的框架，不需要前/后处理。我们的卷积可以缩放到任何空间大小和时间步长的视频。下图为所提出的网络，包含前向子

论文：深度盲视频超分辨率方法代码：https://github.com/jspan/blindvsr（Page not found）文章检索出自：2020 arXiv现有的视频超分算法通常假设退化过程中的模糊核是已知的，并且超分时没有对模糊核进行建模。然而，这种假设通常会导致超分图像过分平滑。为此，本文的主要贡献如下：1）提出了一个有效的视频超分算法，能够同时估计模糊核，运动场和潜在图像2）提出了一种有效的核估计方法和图像反卷积算法去恢复高质量图像3）基准数据集和真实世界的视频上对所提出的算法进行

论文：BasicVSR:在视频超分组件上的搜索和超越作者单位：南洋理工大学、腾讯PCG应用研究中心、香港中文大学-商汤科技联合实验室本文把改进的双向循环神经网络加入进了超分架构，在Vid4测试集上突破了28dB，亮点如下：BasicVSR采用经典的双向循环神经网络。上采样模块U包含卷积和Pixel-shuffle。S、W、R分别为流估计模块、空间扭曲模块和残差块。现有的传播可分为三大类：局部传播、单向传播和双向传播。局部传播 ：滑动窗口方法在局部窗口中使用LR进行局部信息恢复，由于忽略了远处的帧，从而

论文：深度时空视频上采样网络文章检索出处：2020 ECCV代码：https://github.com/JaeYeonKang/STVUN-Pytorch问题： 解决视频在空间和时间上的联合上采样问题的一种方法是逐个独立运行VSR和FI，效率低下。在VSR中，大多数方法都包括特征提取、对齐、融合和重构四个阶段。对于FI，该过程可分为特征提取、特征插值和重构。贡献：1. 本文提出了一种用于时空视频上采样的端到端框架（STVUN），通过共享特征提取模块和重构模块，有效地将VSR和FI合并为一个联合框架。

论文：视频超分的HR光流估计参考代码：https://github.com/LongguangWang/SOF-VSR文章检索出处： 2018 ACCV，同内容论文也发表在IEEE TIP, VOL. 29, 2020现有的基于深度学习的光流方法都使用LR光流。本文提出一个端到端可训练的视频SR架构，去同时处理图像和光流。具体地说，本文首先提出一个光流重建网络（OFRnet）来从粗到细地推断HR光流。然后，根据HR光流进行运动补偿。最后，补偿的LR输入被输入到一个超分网络（SRnet）来产生SR结果。首

论文名称：一个深度对偶注意的视频超分辨率网络文章检索出处： IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 29, 2020以往的方法大多采用小尺度运动估计来处理大的运动，由于空间分辨率的降低，会对运动估计的精度产生不利影响。此外，这些方法通常对不同的中间特征一视同仁，对高频细节信息的利用缺乏灵活性。为了解决上述问题,本文的主要贡献如下：先将中心帧ItLI_t^LItL​和相邻帧IiLI_i^LIiL​输入到MCNet中，生成相邻运动补偿帧I^iL\hat I_i