BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond

最新推荐文章于 2024-05-06 15:25:00 发布
最新推荐文章于 2024-05-06 15:25:00 发布
阅读量236 收藏
点赞数 1
分类专栏： 论文阅读 文章标签： 深度学习 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hzh130727/article/details/131400303
版权

BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond

论文出处

Abstract

VSR(Video super-resolution)任务相对于SIR任务来说，其额外信息为时间维度(temporal dimension),如何处理质量与速度之间的平衡，复杂模型(参数量的提升)出现，那是否简单模型能实现其效果(选用核心组件)？

作者将VSR任务分成四个部分：Propagation，Alignment，Aggregation，Upsampling（根据在哪里?)

作者通过现存组件再加微调实现了BasicVSR(如何work？)，更进一步实现了IconVSR（Information-refill mechanism and coupled propagation），如何出发的呢?

Introduction

首先基础是VSR任务的数据即多帧图像之间存在微小误差但却高度相关，为了解决这个问题模型结构越来越复杂。

  • EDVR采用多尺度可变形对齐模块和多个注意层对不同帧特征进行对齐和集成
  • RBPN采用多个投影模块(具体指代什么？？)从不同帧(相关)之间聚合特征

作者认为这样做的缺点在于增加了模型复杂度(个人理解感觉??)为了模型的复现和比较，从功能上提出了四个步骤：
在这里插入图片描述

简单解释Propagation就是信息的传播方式，Alignment就是如何将具有微小误差的图像或特征进行对齐，Aggregation就是将对齐图像特征进行聚合

个人感觉如果要验证Alignment部分采用显示flow是否有作用，BasicVSR应该和BRCN作比较，而Propagation部分是否有作用，应该和FRVSR做对比。

作者针对BasicVSR在两方面做了改进，一方面在Aggregation采用information-refill,做法为从关键帧中提取特征添加到网络中做细化，另一方面在Propagation方面采用coupled propagation，其实就是将后向转播的状态作为前向传播的输入(特征混合？？)

Related Work

首先大体上VSR方法分为两部分：基于sliding-window 和 recurrent

  • 先前方法采用基于窗口的显示光流估计来进行空间warp以实现对齐
  • 后来的方法通过复杂结构实现隐式的对齐（TDAN通过可变性卷积在特征层实现对齐；EDVR进一步使用多尺度DCNs实现对齐）
  • DUF采用动态采样块实现隐式移位估计或者循环结构
  • RSDN采用recurrent detailstructural block和隐藏层自适应模块来确保鲁棒性和减少误差累计
  • RRN使用残差映射确保信息流和长期的纹理映射

信息填充机制基于关键帧和非关键帧，二者通常用不同方法处理。IconVSR并没有将二者分开处理，而是通过传播机制将其连接，使得长跨步信息可以相互连接。(具体如何work的呢？？)

Methodology

3.1 BasicVSR

在这里插入图片描述

Propagation

Propagation分为三种：Local Propagation，Unidirectional Propagation，Bidirectional Propagation

  • Local Propagation：基于窗口的方法，使用窗口的的LR图像进行恢复，远距离帧间信息得不到利用(是否可以用LR图片采用级联来恢复，这里的窗口其实就是指的是选定帧的数量)

    验证全局感受野？？
    在这里插入图片描述

可以看到在未采用滑动窗口的情况下PSNR很大，但是可以看到窗口越小，包含的信息就越少，导致PSNR很低。个人觉得基于这样的方法对于每一个窗口来说，参考帧获得信息其实要比其他帧更多，恢复也更容易实现？

作者认为两端差异大显示了用长序列累计长信息的必要性，单个人觉得如果窗口较小是否有较大的长信息？基于窗口是否有信息的流动？

是否可以在窗口内做合适的但双向传播？窗口的大小如何确定？

  • Unidirectional Propagation：解决了上述的窗口流动问题，但是这样采用的数据是整个序列(这样会不会增加复杂度)。作者在这里觉得第一帧和最后一帧之间的信息会造成不平衡(是否真的有影响？)采用双向方法会增加复杂度，如果与FRVSR比较，结果来看除了增加参数外速度和效果都要更好(双向的信息更加完全)
    在这里插入图片描述

考虑到问题就是说在窗口内采用这种机制会不会起作用？还是说窗口内的信息很少，不需要这么复杂的机制

  • Bidirectional Propagation

在这里插入图片描述

但是这样其实可以发现信息的流通还是单独的，是否可以在中间混合？

最大的疑问就是双向流通采用的还是未恢复的图像，正反来一次效果真的有提升吗

Alignment

Alignment也可以分三种：without alignment, image alignment, 和 feature alignment

循环网络不对齐会导致性能的弱化(为什么？为什么对齐就可以导致性能更好？)作者说实验表明不对齐会导致卷积具有更少的感受野，反正说来说去就是说考虑到的信息更多，对齐更好效果就更好(其实显然)

图像对齐与特征对齐个人感觉图像对齐其实更准确，毕竟特征看起来就很一样。

作者在特征空间执行对齐和warp
在这里插入图片描述

3.2. From BasicVSR to IconVSR

Information-Refill

其实这里我感觉长时间步一长之后特征之间的对齐就会很困难，会有误差的累积产生，比较一下二者

在这里插入图片描述

用公式解释如下，

在这里插入图片描述

具体这样做的原理？？？

Coupled Propagation

在这里插入图片描述

前面提到过这个问题？是否可以优化

AI-NuanBaobao
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
UCSD 博士论文 Priors and Learning Based Methods for Super-Resolution
06-19
In this dissertation we propose priors and learning based methods for super- resolution and other video processing applications. We also propose efficient al- gorithms for global motion estimation and projection on L1 ball under box con- straints. We propose total subset variation (TSV), a convexity preserving general- ization of total variation (TV) prior, for higher order clique MRF. A proposed differentiable approximation of the TSV prior makes it amenable for use in large images (e.g. 1080p). A generalization to vector valued data enables use of the TSV prior for color images and motion field. A convex relaxation of sub-exponential distribution is proposed as a criterion to determine parameters of the optimiza- tion problem resulting from the TSV prior. For super-resolution application, ex- periments show reconstruction error improvement in terms of PSNR as well as Structural Similarity (SSIM) with respect to TV and other methods. We also propose an image up-scaling algorithm based on ν support vector regression. Working in the pixel domain, spatial neighborhood in the form of rect- angular patches are used to determine the high resolution pixels at the center of the patch. Since, interpolation involves matching the test patch against a descrip- tive subset of training patches (support vectors) to find similar training patches which then have higher influence on the result of interpolation, the approach is inherently adaptive to local image content. We also investigate ν support vector xiiiregression for compression artifact reduction application. For global motion estimation application, we propose a fast and robust 2D- affine global motion estimation algorithm based on phase-correlation in Fourier- Mellin domain and robust least square model fitting of sparse motion vector field. Rotation-scale-translation (RST) approximation of affine parameters is obtained at coarsest level of image pyramid, as opposed to only initial translation estimate [2] [3], thus ensuring convergence for much larger range of motions. Despite working at coarsest resolution level, use of subpixel-accurate phase correlation [4] provides sufficiently accurate coarse estimates for subsequent refinement stage of the algo- rithm. Refinement stage consists of RANSAC [5] based robust least-square model fitting to sparse motion vector field, estimated using block-based subpixel-accurate phase correlation at randomly selected high activity regions in finest level of image pyramid. Resulting algorithm is very robust to outliers like foreground objects and flat regions. Experimental results show proposed algorithm is capable of esti- mating larger range of motions as compared to MPEG-4 verification model, while achieving a speed-up of 200. A combination of priors for statistics of single frames of natural video and motion estimation between different frames of video is essential for good perfor- mance of any general video processing application.
Machine-Learning-in-Python-Essential-Techniques-for-Predictive-Analysis
05-16
This book covers two broad classes of machine learning algorithms: penalized linear regression (for example, Ridge and Lasso) and ensemble methods (for example, Random Forests and Gradient Boosting)....
VSR论文笔记四|Frame-Recurrent Video Super-Resolution
eight_Jessen的博客
11-06 519
Frame-Recurrent Video Super-Resolution 1.摘要 作者认为以往的做法是多个LR帧得到一个HR帧。这种的方法有两个主要的缺点： 1）每个输入帧都经过多次处理和变形，从而增加了计算成本； 2）每个输出帧都是根据输入帧进行独立估计的，从而限制了系统产生时间上一致的结果的能力 作者提出的网络是使用预测出来的HR，继续预测后面的帧。由于其重复性，所提出的方法具有同化大量先前帧的能力，而不会增加计算需求。 2.Introduction 最新的视频超分辨率方法通过组合一批LR帧以估计
基于深度学习的视频超分辨率研究综述
mytzs123的博客
11-23 439
视频超分辨率（VSR）是从低分辨率视频重建高分辨率视频。近年来，基于深度神经网络的VSR方法取得了很大进展。然而，对这些方法很少有系统的综述。在本次调查中，我们全面调查了37种基于深度学习的最新VSR方法。众所周知，视频帧中包含的信息的利用对于视频超分辨率是重要的。因此，我们提出了一种分类法，并根据利用帧间信息的方式将这些方法分为七个子类别。此外，还包括对架构设计和实现细节的描述。最后，我们总结并比较了代表性VSR方法在一些基准数据集上的性能。我们还讨论了VSR社区的研究人员需要进一步解决的应用和一些挑战。
Video SR-1
qq_41332469的博客
06-01 999
一、Video Super-Resolution With Convolutional Neural Networks （TIP2016） 1、主要工作 提出基于CNN的视频超分算法； 提出三种结构，用来融合相邻的多帧信息； 提出预训练方法，利用图像数据对VSR模型预训练； 利用一种自适应运动补偿方案来处理视频中的快速运动物体和运动模糊； 2、三种结构 3、运动补偿（Motion Compensation） 运动补偿的作用其实就是多个相邻帧的对齐。 基于运动补偿算法，作者提出自适应运动补偿，用来解决大
超分之BasicVSR
Ton的博客
05-02 6276
这篇文章是2021年的CVPR，文章作者是和EDVR同一批的人。该篇文章提出了一个轻量且高表现性能的视频超分framework——BasicVSR。BasicVSR改进了传统VSR结构中的propagation和alignment部分，分别提出了一个双向视频流的循环结构以及基于flow-based的feature-wise对齐方法。此外，在BasicVSR的基础上，作者进一步对propagation和aggregation进行优化，产生了一个更高表现性能的VSR结构——IconVSR。 参考目录： ①Ba.
轻量且高性能的视频超分算法——BasicVSR
datayx的文章
05-16 2053
向AI转型的程序员都关注了这个号????????????这篇文章是2021年的CVPR，文章作者是和EDVR同一批的人。该篇文章提出了一个轻量且高表现性能的视频超分framework——BasicVSR。BasicVSR改进了传统VSR结构中的propagation和alignment部分，分别提出了一个双向视频流的循环结构以及基于flow-based的feature-wise对齐方法。此外，在BasicVSR的基...
CVPR21 - BasicVSR：简单有效的视频超分辨率Baseline
要相信光
01-13 1496
视频超分辨率算法BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond
超分之BasicVSR++
Ton的博客
05-10 7332
这篇文章是BasicVSR的升级版本\colorbox{tomato}{升级版本}升级版本​，同一批作者将BasicVSR中的Propagation和Alignment部分进行了增强产生了新一点VSR方法——BasicVSR++。具体而言，Propagation采用了一个Grid-Propagation来重复校正对齐的准确性；更重要的是提出了一个具有二阶马尔可夫性质的跨格点传播机制以及光流引导的可变形卷积对齐模块。通过这3个改进，Basic++取得了SOTA的表现力以及获得了2021年超分挑战赛NTIRE.
BasicSR学习笔记
qq_43350330的博客
12-30 2557
basicSR学习笔记
【CVPR2022】《BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment》译读笔记
墨门
06-15 460
并且，SecondOrderDeformableAlignment类继承了ModulatedDeformConv2d，这表明BasicVSR++模型使用了可变形卷积。但是，根据对mmcv库的了解，ModulatedDeformConv2d实现的是DCNv2，因为在DCNv2中，引入了一个新的模块化参数（modulation scalar）来增强模型的表达能力，而。因此，可以推断，BasicVSR++在其网络模型中使用的可变形卷积（Deformable Convolution）应该是DCNv2。
Machine-Learning-in-Python-Essential-Techniques-for-Predictive-Analysis.pdf.pdf
09-14
Machine-Learning-in-Python-Essential-Techniques-for-Predictive-Analysis.pdf
麒麟V10桌面操作系统离线编译依赖库build-essential
07-13
包含build-essential和qt编译依赖。 适用版本麒麟V10 SP1 2303。 使用：下载解压后并放到/data/temp/archives后，在该文件夹下，执行sudo dpkg -i *.deb即可。 注意：执行前先关闭
ej2-angular-samples：用于Angular的Essential JS 2演示示例
02-05
Syncfusion Angular UI组件示例该存储库包含的演示。 这是检查我们的组件以获取有关API...执照Syncfusion Angular UI（Essential JS 2）组件库在Syncfusion Essential Studio程序下可用，并且可以根据Syncfusion Comm
深度学习之基于Pytorch卷积神经网络人民币面值识别
Q1744828575的博客
05-06 427
一、项目背景在日常生活和商业活动中，人民币面值识别技术具有重要的应用价值。传统的面值识别方法，如基于模板匹配或特征工程的方法，在面对复杂多变的图像环境时，往往难以达到理想的识别效果。随着深度学习技术的兴起，特别是卷积神经网络（Convolutional Neural Networks, CNN）在图像识别领域的卓越表现，为人民币面值识别提供了新的解决方案。本项目旨在利用PyTorch深度学习框架和卷积神经网络，开发一个高效、准确的人民币面值识别系统。二、项目目标。
深度学习之基于YOLOv5电线电缆目标检测系统
Q1744828575的博客
04-29 1173
项目简介：深度学习之基于YOLOv5电线电缆目标检测系统本项目致力于开发一套基于深度学习的电线电缆目标检测系统，该系统利用YOLOv5算法实现电线电缆的实时检测和识别。通过深度学习技术，我们能够自动提取电线电缆的特征，进而实现对电线电缆目标的快速、准确检测。一、项目背景与意义电线电缆作为电力传输和信号传输的重要基础设施，其安全性和可靠性对于各个领域至关重要。然而，在实际应用中，电线电缆可能因各种原因出现缺陷或故障，如绝缘破损、接触不良等。
LSTM计算指示图
2301_77549977的博客
05-06 87
掌握网络结构 组件构成 输入门、遗忘门、输出门 候选记忆细胞 记忆细胞 隐藏状态
一起深度学习（AlexNet网络）
weixin_46348136的博客
05-04 267
仅记录个人学习咯
torch.unique_consecutive
最新发布
weixin_43903164的博客
05-06 78
就是将原始的torch去除重复的部分。
ERROR: Could not build wheels for PyQt5-sip which use PEP 517 and cannot be installed directly
01-18
sudo apt-get install build-essential ``` 2. 确保你的系统上已经安装了Python开发包。你可以通过运行以下命令来安装它： ``` sudo apt-get install python3-dev ``` 3. 确保你的系统上已经安装了Qt开发包。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI-NuanBaobao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值