BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment阅读笔记

最新推荐文章于 2024-04-26 09:36:31 发布
最新推荐文章于 2024-04-26 09:36:31 发布
阅读量6.2k 收藏 23
点赞数 4
分类专栏： 视频超分辨率 pytorch 文章标签： pytorch 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Gedulding/article/details/123566931
版权

BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment

BasicVSR++：通过增强传播和对齐提高视频超分辨率

论文：https://arxiv.org/pdf/2104.13371.pdf

代码：GitHub - open-mmlab/mmediting: OpenMMLab Image and Video Editing Toolbox

本篇笔记主要对整篇论文从头到尾进行阅读分析，本文内容有点多，主要是对不同部分的总结以及图例解释，如果只对模型原理部分有兴趣，可直接观看第四部分。

本文为了详细说明各图、公式在各组件中的情况，所以对原文图片、公式做了切割和拼接，保证该内容是在该组件中生效的。

目录

（1）摘要

（2）引言

（2.1）二阶网格传播

（2.2）光流引导可变形

(2.3)对比

（3）相关工作

（4）本文方法介绍

 （4.1）二阶网格传播

 （4.2）基于光流引导的可变形对齐

（5）实验

 （5.1）BasicVSR++相比较其他模型的实验结果：

  （5.2）消融实验实验结果：

 （5.2.1）二阶传播与网格传播结果对比​

（5.2.2）基于光流的DCN对齐

（1）摘要

BasicVSR++是在BasicVSR基础上优化的，(BasicVSR没看的，可以查看我Blog，其中IconVSR提高了0.31dB)，BasicVSR++在其基础组件上进一步优化，在传播组件中使用二阶网格传播，对齐组件中使用光流引导可变形对齐方案，可以更好的利用未对齐视频帧中的时空信息，其中BasicVSR++相比较BasicVSR提高了0.82dB。

（2）引言

BasicVSR中存在限制，在遮挡区域以及复杂区域往往恢复效果一般，所以为了解决这样的问题，本文设计BasicVSR++，在传播和对齐组件上进行优化。提出二阶网格传播以及光流引导可变形对齐。

（2.1）二阶网格传播

 如上图所示，经过BasicVSR和BasicVSR++的对比有传播上两点不同：

(1) BasicVSR中前向传播和反向传播之间没有信息交互，无法完全利用互补信息，BasicVSR++设计为二阶网格形式，前向传播和反向传播可以进行信息交互补充。

(2) BasicVSR中遵循一阶马尔科夫链的特性，也就是下一个节点的状态只与前一个节点状态有关，与前两个节点状态无关。BasicVSR++中设计不同的节点信息互联，可以充分利用不同位置的时空信息进行聚合。

（2.2）光流引导可变形

 如上图所示，光流评估对于遮挡也没有良好的解决办法，所以BasicVSR++使用可变性卷积对齐。

(1)BasicVSR中进行光流评估之后，直接对特征进行扭曲对齐。而对于原本有遮挡情况效果不行。

(3)BasicVSR++使用可变形卷积对齐，但是可变性卷积的结果不稳定且难以训练，所以BasicVSR++中使用光流评估结果与(光流评估结果与特征的残差偏移量)进行偏移量学习，作为DCN的偏移量。

(2.3)对比

结果没啥好说的，就在BasicVSR论文中的对比加上了BasicVSR++

（3）相关工作

作者对本文中使用的内容进行了简单的介绍，循环神经网络，网格连接，可变形对齐等。

（4）本文方法介绍

首先，对本节中第一幅图做一个简单的介绍(接下来部分会对图中内容逐个介绍)，可以看出下方图就是BasicVSR++的数据处理的流程图，以作为例子，是第i帧数据，通过残差模块提取出特征，将数据往下传递，在正向传播和反向传播中进行可变形卷积对齐得到特征(其中i代表第i帧，j-1代表传播分支)，经过二阶网格传播重复优化，对最后特征进行聚合和上采样。

注：到的过程在下面介绍

 （4.1）二阶网格传播

二阶网格传播如上图所示，放宽一阶马尔可夫链的限制(也就是子节点只与父节点状态有关系，与祖父节点无关)，变为二阶马尔可夫，这就是二阶的由来，上图中红线就是通过子节点与祖父节点之间连接进行信息传递。并且允许信息以网格的形式进行传播，正向传播中每个i时刻的结果可以传递到反向传播的i时刻，进行信息交互。这种方式，不但可以使信息得到多次提炼，而且可以对该模块未获取到的信息起到补充作用。

下图中的左边公式，主要是对右边的图进行解释，首先是进行残差模块提取出的目标帧的特征信息，A代表基于光流的可变形对齐模块，表示i-1帧数据的特征信息，同理，s是光流估计，计算i到i-1和i到i-2的结果( 和 )。(j表示的是第j个传播分支)

第二个公式更是经过残差卷积之后的精细化特征信息。特别的就是

 （4.2）基于光流引导的可变形对齐

本小节主要介绍本文的另一个重要点：对齐方式。使用DCN对齐方式，可变形对齐相比光流的优势在于偏移多样性。然而，可变形对齐模块很难训练。训练的不稳定常常导致补偿溢出，从而影响性能。为了在克服不稳定性的同时利用偏移分量，由于可变形对齐和光流对齐之间存在着很强的关系，本文提出利用光流来引导可变形对齐。如下图所示：（下面是对齐单个特征）

 对上图中数据流程和公式进行解释。(我觉得这个图中有问题，在扭曲对齐生成的特征按文中的公式，表述应该是，有个人见解请评论)

(1) 首先，右图公式3 ， 在上面章节介绍过，是光流估计从i到i-1的结果。先得到从i到i-1的光流估计结果，与i-1帧的特征信息进行扭曲对齐，得到 的特征信息作为偏移量。

(2) 右图公式4，是（与的细化特征）与光流结果之间的微小偏差，减轻可变形对齐的负担。是DCN masks的结果，用来权衡目标帧中不同像素的贡献。

(3) 右图公式5，经过D，变形卷积之后得到对齐结果。

 ———————————————————————————————————————————

下图的公式是在二阶网格中传播，对齐多个特征的公式。其中左图为了说明和的区别。

（5）实验

训练数据集：REDS、Vimeo-90K

测试数据集：REDS4、Vid4、UDM10、Vimeo-90K-T、Vimeo-90K

验证数据集：REDSval4

下采样方法：Bicubic (BI) and Blur Downsampling (BD)

迭代优化器：Adam optimizer、Cosine Annealing

学习率：主网络10^-4，光流估计2.5*10^-5

输入LR尺寸:64*64

损失函数：Charbonnier loss

 （5.1）BasicVSR++相比较其他模型的实验结果：

使用不同的下采样方式进行测试，本方法的PSNR/SSIM效果最好，参数少，运行时间短。

 与自己的前两种方法对比，效果提升的同时，参数量也没有大幅提高。

不同测试集上的效果比对 

 

  （5.2）消融实验实验结果：

与基础的传播、对齐、聚合和上采样相比。BasicVSR多了三个改动，（1）一个基于光流引导的DCN.（2）拓宽一阶马尔科夫链限制的二阶传播。（3）网格传播。实验如下图所示：

 （5.2.1）二阶传播与网格传播结果对比

（5.2.2）基于光流的DCN对齐

 光流引导的特征对齐对模型的有效性：

个人总结：这篇文章还是在BasicVSR的基础上，对四大组件进行延伸修改，主要在传播和对齐方面进行优化，利用二阶网格传播，重复对信息进行提取和利用，使得特征细节丰富。光流引导的可变形对齐，解决遮挡情况下的光流对齐效果一般的情况，并且通过使用光流引导，稳定和加快可变形对齐的速度。

写Bug的小廉
关注
  • 4
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
视频超分辨率重构——BasicVSR++
qq_52053775的博客
05-06 353
为了加强视频帧之间信息的传递和提炼，BasicVSR++采用了二阶网格传播机制，通过增设二阶连接来增强特征的传播，从而在视频序列中实现更加有效的信息交换和精细化的特征提炼。即BasicVSR++结合前两帧的信息预测下一帧，对于当前帧的预测，首先输入前两帧对应的特征图，经过光流对齐，得到对齐后的特征图。最后，将DCN偏移量、mask、特征图输入到DCN模块即可得到最终特征图结果。下图中描述的是一阶光流对齐，二阶操作非常类似，首先，对于前两帧特征图。,分别经过光流对齐，得到对齐后的特征。
【图像超分辨率论文】BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment
qq_41807261的博客
01-24 1828
BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment Abstract 递归结构是视频超分辨率任务的一个流行框架选择。最先进的方法BasicVSR采用双向传播与特征对齐，有效地利用了整个输入视频的信息。在这项研究中，我们通过提出二阶网格传播和流动引导的可变形对齐来重新设计BasicVSR。我们表明，通过增强传播和对齐的递归框架，我们可以更有效地利用错位视频帧的时空信息。在类似的计算约束下，新的
底层视觉与MMEditinig代码实战，复现CVPR2022 RealBasicVSR
08-14
与https://www.bilibili.com/video/BV1zq4y1o7ph?p=6&spm_id_from=333.880.my_history.page.click&vd_source=c09213c2eea73b54c3605a89e3d85781相对应，底层视觉与MMEditinig代码实战，复现CVPR2022 RealBasicVSR
BasicVSR++: Improving Video Super-Resolutionwith Enhanced Propagation and Alignment
mytzs123的博客
07-01 1851
Abstract递归结构是视频超分辨率任务的常用框架选择。最先进的方法BasicVSR采用双向传播和特征对齐，有效地利用整个输入视频中的信息。在这项研究中，我们通过提出二阶网格传播和流引导变形对齐来重新设计BasicVSR。我们表明，通过增强传播和对齐的递归框架，可以更有效地利用错位视频帧中的时空信息。在类似的计算约束下，新组件可以提高性能。特别是，我们的模型BasicVSR++在参数数目相似的情况下，PSNR比BasicVSR高出0.82 dB。除了视频超分辨率，BasicVSR++还可以很好地推广到其他
超分之BasicVSR++
Ton的博客
05-10 7999
这篇文章是BasicVSR的升级版本\colorbox{tomato}{升级版本}升级版本​，同一批作者将BasicVSR中的Propagation和Alignment部分进行了增强产生了新一点VSR方法——BasicVSR++。具体而言，Propagation采用了一个Grid-Propagation来重复校正对齐的准确性；更重要的是提出了一个具有二阶马尔可夫性质的跨格点传播机制以及光流引导的可变形卷积对齐模块。通过这3个改进，Basic++取得了SOTA的表现力以及获得了2021年超分挑战赛NTIRE.
cvday13（Basic和Basicvsr的实现）
lmx001206的博客
11-24 3133
basic训练结果，用的是vimeo90k的数据集，模型basic，跑了20min Eval-PSNR: 37.19113475287104 最大峰值信噪比 （在图像质量评价指标中，有一个指标是PSNR(Peak Signal-to-Noise Ratio) 峰值信噪比，它正好对标L1和L2损失函数，但L1和L2是有一个共性：它们都是基于逐像素比较差异，没有考虑人类视觉感知，更没有考虑人的审美观，所以PSNR指标高，并不一定代表图像质量好。）Eval-SSIM: 0.9451216528070878（.
FullMeSH: Improving Large-Scale MeSH Indexing with Full Text
02-11
FullMeSH: Improving Large-Scale MeSH Indexing with Full Text
原文Boundary IoU: Improving Object-Centric Image Segmentation
11-18
CVPR2021的一篇论文《Boundary IoU: Improving Object-Centric Image Segmentation Evaluation》提出了一种新的评估方法——Boundary IoU，旨在解决这个问题。 Boundary IoU是一种专注于边界质量的分割评估度量标准...
信奥＋数学＋物理等资料集（180-230）.rar
06-27
文件“223、Guide to Competitive Programming Learning and Improving Algorithms Through Contests (Undergraduate Topics in Computer Science) by Antti Laaksonen.2e.pdf”是一本关于竞赛编程的书籍，作者Antti...
MHC-MAC: Cognitive MAC with asynchronous-assembly line mode for improving spectrum utilization and network capacity
02-09
It has asynchronous assembly line mode cognitive MAC aimed at improving the HC-MAC protocol performance with low throughput and channel utilization rate. From the sensing time, task number, licensed ...
Social-Loc: improving indoor localization with social sensing
02-09
Location-based services, such as targeted advertisement, geo-social networking and emergency services, are becoming increasingly popular for mobile applications. While GPS provides accurate outdoor ...
BasicVSR++:Improving Video Super-Resolution with Enhanced Propagation and Alignment
liguandong
01-13 509
【第124期】一个视频弄懂视频和照片的分辨率，万物皆可4K120帧！上图比较明显，首先是传播，由原来的双向改成了二阶网格传播，网格传导更有效的利用双向信息聚合，这个和msdn很像的，以便从不同的时空位置聚合信息，改善了网络中的信息聚合能力，并提高了网络对遮挡区域和精细区域的鲁棒性。在上面的ppt中展示了视频超分的四个相互关联的组成部分，传播，对齐，聚合和上采样，这一点和图像超分有点区别，BasicVSR++主要是在传播和对齐两个组件上相对BasicVSR做了优化和改进。_哔哩哔哩_bilibili。
CVPR 2022 视频超分比赛冠军算法 BasicVSR+++
jacke121的专栏
06-18 5270
CVPR 2022 | 视频超分比赛冠军算法
BasicVSR++模型转JIT并用c++libtorch推理
凉_白开的博客
03-29 566
BasicVSR++是一种先进的视频超分辨率（Video Super-Resolution）技术，它基于深度学习，通过优化网络结构和算法，实现了对低分辨率视频的高效、高质量放大。该技术结合了时空特征融合、残差学习以及注意力机制等先进方法，有效提升了视频超分辨率的重建性能。 BasicVSR++在保持视频帧间连续性和一致性的同时，显著增强了图像的细节和纹理信息，使得重建后的视频在视觉效果上更加清晰、自然。此外，该技术还具有良好的泛化能力，能够处理各种不同类型的视频内容，包括人物、场景、动态物体等。
MMediting1.X进行视频超分训练和测试（BasicVsr++）
daweq的博客
05-04 1333
这里值得说的是REDS数据集，在mmediting里面它将原数据的训练和验证两个部分的数据进行了拼贴，然后通过一个参数文件（这些按照官方文件给的参数文件生成代码进行生成就好了）控制那一段数据是训练，哪一段是验证数据，这样可以便于后面的测试。在保存的测试结果里面，我们可以看到日志，参数配置，和图片最后超分的结果，这里给出同一帧位置图像处理前后图片的分辨率，可以看到第一张图为原图片，第二张图为超分之后的结果，可以看出来明显第二张细节更清晰了。按照官方给出的标准测试指令进行测试，下图就是测试的结果了。
探索 **BasicVSR++**：一款强大且易用的视频超分辨率工具
最新发布
gitblog_00054的博客
04-26 366
探索 BasicVSR++：一款强大且易用的视频超分辨率工具 项目地址:https://gitcode.com/ckkelvinchan/BasicVSR_PlusPlus 在数字媒体领域，视频质量的提升始终是研发的重点。而 BasicVSR++ 正是一款致力于视频超分辨率（Video Super-Resolution）的开源项目，由开发者 ckkelvinchan 创建并维护。通过先进的深度学...
视频超分：对齐、融合、特征提取、重建，EDVR、BasicVSR、BasicVSR++、RealBasicVSR
欢迎一起成长呀
08-11 2148
可以利用多帧间的信息更好地完成超分，帧间是时间上的信息，像素点上体现空间上的信息。流程：对齐、融合、特征提取、重建
CVPR2022 | BasicVSR++ 这视频超分效果太顶啦！
zero的博客
04-14 1281
En点击下方“AI算法与图像处理”，一起进步！ 重磅干货，第一时间送达大家好，我是 阿潘～前段时间商汤&南洋理工大学的视频超分算法获得比赛冠军算法，并入选CVPR 2022！它的名字叫做BasicVSR++，是对视频超分SOTA模型BasicVSR的进一步改进。具体链接参考：一举打败16个同类模型，视频超分比赛冠军算法入选CVPR 2022，来自商汤&南...
Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform
04-05
Image super-resolution (SR) is the process of increasing the resolution of a low-resolution (LR) image to a higher resolution (HR) version. This is an important task in computer vision and has many practical applications, such as improving the quality of images captured by low-resolution cameras or enhancing the resolution of medical images. However, most existing SR methods suffer from a loss of texture details and produce overly smooth HR images, which can result in unrealistic and unappealing results. To address this issue, a new SR method called Deep Spatial Feature Transform (DSFT) has been proposed. DSFT is a deep learning-based approach that uses a spatial feature transform layer to recover realistic texture in the HR image. The spatial feature transform layer takes the LR image and a set of HR feature maps as input and transforms the features to a higher dimensional space. This allows the model to better capture the high-frequency details in the image and produce more realistic HR images. The DSFT method also employs a multi-scale approach, where the LR image is processed at multiple scales to capture both local and global features. Additionally, the model uses residual connections to improve the training process and reduce the risk of overfitting. Experimental results show that DSFT outperforms state-of-the-art SR methods in terms of both quantitative metrics and visual quality. The method is also shown to be robust to different noise levels and image degradation scenarios. In summary, DSFT is a promising approach for realistic texture recovery in image super-resolution. Its ability to capture high-frequency details and produce visually appealing HR images makes it a valuable tool for various applications in computer vision.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值