EDVR: Video Restoration with Enhanced Deformable Convolutional Networks阅读笔记

已于 2022-12-05 15:27:15 修改
阅读量1k 收藏 6
点赞数 1
分类专栏： 视频超分辨率 pytorch 文章标签： 人工智能 深度学习 计算机视觉
于 2022-06-14 21:06:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Gedulding/article/details/125216620
版权

EDVR: Video Restoration with Enhanced Deformable Convolutional Networks

EDVR：基于增强可变形卷积网络的视频恢复


论文：https://arxiv.org/pdf/1905.02716.pdf

代码：xinntao/EDVR: Winning Solution in NTIRE19 Challenges on Video Restoration and Enhancement (CVPR19 Workshops) - Video Restoration with Enhanced Deformable Convolutional Networks. EDVR has been merged into BasicSR and this repo is a mirror of BasicSR. (github.com)

本篇笔记主要对整篇论文从头到尾进行阅读分析，本文内容有点多，主要是对不同部分的总结以及图例解释，如果只对模型原理部分有兴趣，可直接观看第四部分。

本文为了详细说明各图、公式在各组件中的情况，所以对原文图片、公式做了切割和拼接，保证该内容是在该组件中生效的。

目录

（1）摘要

（2）引言

（3）相关工作

（4）本文方法介绍

（4.1）PCD模块(Alignment with Pyramid, Cascading and Deformable Convolution)

（4.2）TSA模块(Fusion with Temporal and Spatial Attention)

(4.3) 两阶段策略

（5）实验

（5.1）相比较其他模型的实验结果：

 （5.2）消融实验实验结果：

总结 ：

（1）摘要

NTURE19挑战赛的REDS任务，两个挑战：(1)对齐大运动的多个帧。(2)有效融合具有不同运动和模糊的不同帧。本文的解决方案：(1)处理大范围运动，本文设计一种金字塔、级联和可变形(PCD)模块(从这就可以看出，本文模型的参数量应该不小)，应用于特征级的针对齐。(2)提出时间和空间的注意力机制(TSA)融合模块，用于后续帧的恢复。

（2）引言

目前的VSR的pipelines通常由特征提取、对齐、融合和重建构成(可以看BasicVSR中的对于目前的VSR的归类，实际上可以普遍分为传播、对齐、融合以及上采样四部分)，对于遮挡、大运动和严重模糊主要是对对齐和融合产生挑战。

对齐：当前的方法主要是两个分支，(1)显示运动估计，通过明确估计目标帧和参考帧之间的光流场，根据估计的运动长扭曲参考帧来实现对齐。(2)隐式运动估计，目前的研究是通过研究动态滤波器(DUF，可以看我前面的文章)和可变形卷积(DCN)来实现隐式的运动补偿，实现对齐。而对于基于光流的方法，精确的光流估计和扭曲很耗时，并且在大运动情况下，很难执行显示或隐式的运动补偿。

融合：当前的方法分为两种：(1)使用卷积对所有帧进行早期融合。(2)采用递归网络进行逐步融合。但是这两种方式没有考虑对齐帧上潜在的视觉信息量和位置信息都是不同的，受到模糊和不完美对齐的问题，不利于进行重建。

本文的解决方案：

EDVR：两个核心(1)金字塔(Pyramid)、级联(Cascading)和可变形(Deformable),(PCD)对齐模块。(2)时间和空间的注意力机制(TSA)融合模块。

PCD模块使用可变形卷积将每个参考帧与目标帧对齐，将特征信息从粗到细进行对齐，但是对于文中的说明我觉得可能存在问题，文中说以金字塔的模式从低尺度的特征获得粗略运动信息，然后再到高尺度获得高精度运动信息。根据文中的内容，在金字塔形的可变形卷积中，作者是将特征图进行下采样获得低尺度的特征图，下采样会丢失某些特征，使可变形卷积获得粗略的运动信息，然后将粗略信息上传，提高大尺度特征图的在卷积中获得运动补偿信息的速率和效果。

TSA融合模块，通过计算目标帧和参考帧特征之间的元素相关引入注意力机制，通过相关系数对每个位置的相邻特征进行加权，来表示该特征对于重建特征的影响，最后对所有加权特征进行卷积核融合。

从现在来看，本文对于视频处理的实时性要求不高，但是优于19之前的模型，缺点就是参数太大，相比较DUF可以看出还是比较有优势的。

（3）相关工作

本章节对VSR方法、DCN卷积以及注意力机制进行了简单介绍，文中主要应用这些思想，所以了解的话就没必要看了。

（4）本文方法介绍

本文的EDVR模型应用于视频超分和去模糊方面，下图是EDVR的统一架构，图中架构说明，左边的下半部分和PreDeblur Module模块是用于去模糊的，不是本次blog说明的重点，所以进行简要的说明：(去模糊在于将模糊内容通过其他相邻参考帧的补充，来补充模糊内容，对连续视频帧进行下采样，输入模糊的预处理模块，进行pipline中处理)。左边的上半部分用于视频超分。

本文中的VSR方法，将2N+1帧视频作为输入，t时刻帧作为目标帧，[N-t , N+t]范围帧作为参考帧，经过PCD对齐模块后，得到目标帧的以及2N个对齐后的特征，经过TSA模块，将和进行融合，并提取出特征后重建SR视频帧。
 

作者提出PCD模块用于处理帧间对齐和TSA用于进行特征融合。所以我们着重讲一下这两个模块。

（4.1）PCD模块(Alignment with Pyramid, Cascading and Deformable Convolution)

本文使用的PCD模块，使用DCN可变形卷积进行扭曲，如上所说的使用隐式运动补偿来进行扭曲对齐操作。在PCD中采用金字塔模式进行多级对齐，由粗到细的方式，最后进行对齐操作，解决出现复杂运动和大范围运动的问题。

文章中首先对VSR中的DCN使用进行介绍，将输入的目标帧(t 帧)与参考帧(t + i帧)进行简单concat之后，通过卷积学习到offset，将offset用于参考帧，配上权重 以及调制参数，其中K表示的位置的个数，例如k=3，表示3*3的卷积核∈{(−1, −1), (−1, 0), · · · , (1, 1)}，经过求和留下p0位置的特征。

而对于输入的连续帧，包含每个参考帧与目标帧的对齐都生成一组偏移矩阵，所有帧的偏移矩阵如下图计算。其中其中[⋅,⋅] 表示concat操作，

 --------------------------------------------------------------------------------------------------------------------------------

上述的内容是对DCN在VSR中使用的介绍，而在本文中，作者介绍不考虑 调制参数 ，只关注offset。所以PCD模块的结构如下图所示：

 首先，如上图所示，左边蓝线表示这是一个金字塔层级的模型，每层都是使用DCN进行变形卷积，对上图 t帧 和 t+i 帧的对齐进行说明。首先，将目标帧和参考帧通过卷积各自输出feature map作为金字塔L1层的特征信息。

1，黑色虚线部分，对t帧图片和t+i帧图片进行使用跨步卷积stride=2进行下采样，生成L2层的两个特征信息。如法炮制，生成L3层的特征信息。

2，到达顶层的L3层之后，根据黄色实线，将和的特征做Concat，并进行卷积降低通道数之后，生成L3层的offset。根据蓝色实线方向，获得offset之后，将和offset通过DConv进行对齐，生成对齐特征。

具体的计算过程如下图所示，^{\Delta P_{t+i}^{l}}是表示  l 层的 t+i 帧偏移矩阵，f(\cdot )表示学习offset网络，使用双线性插值进行2倍上采样。DCon(\cdot )表示可变形卷积。g(\cdot )，h(\cdot)表示一般的卷积过程。例如L2层的偏移矩阵，是L3层的偏移矩阵经过上采样后于L2层特征concat数据计算出这一层的offset，逐层上移，得到最终的对齐结果。

3，左侧紫色虚线是对上一层的offset进行双线性插值的上采样。右侧紫色虚线是对上层对齐的特征进行双线性插值的上采样。

至此就完成了PCD模块的帧对齐工作，该模块不依赖于光流估计的精确度，使用DCN进行隐式运动补偿的对齐操作，并且利用金字塔模型的层级，对不同分辨率的特征进行由粗到细的提取对齐，使其能应对复杂运动和大视差的问题。

（4.2）TSA模块(Fusion with Temporal and Spatial Attention)

本模块的设计主要是针对两个方面：

  1. 不同的相邻帧因为时序、模糊、视差以及遮挡等问题，为目标帧提供的参考特征信息量是不相同的；
  2. 对齐效果不好的帧，会导致融合的时候前后帧的内容不一致，影响重建效果。

本模块的结构流程如下图所示：

时间注意力：

pipeline中到TSA模块，获得2N个对齐特征，对每个对齐特征都使用目标帧F_{t}来计算一个注意力热图，表示帧间的相似距离。这个就是时间注意力。

计算方式如下图：

            (1) 求权值公式

           (2) 得到最终的时间融合特征 

其中F_{a}^{t+i}是相邻帧的对齐特征，F_{a}^{t}是目标帧的特征。\theta和\phi分别表示对目标帧的特征和参考帧的特征的卷积，之后按通道进行相乘和累加得到单通道的特征图，最后经过sigmoid得到时间注意力图。

空间注意力

融合之后的结果包含2N个时间维度的特征图，如图中下半部分所示，得到的时间注意力图，首先使用两次下采样，然后在通过上采样的操作获得和尺寸相同的空间注意力，进行element-wise相乘、相加得到最终的融合特征，输入重构模块中。

其中图中下半部分的标志：\bigodot表示element-wise相乘、\bigoplus相加、上采样

(4.3) 两阶段策略

级联类似但较浅的EDVR网络以细化第一级的输出帧。其好处有两个：

1）有效地消除了前一种模型无法处理的严重运动模糊，提高了恢复质量；

2） 它缓解了输出帧之间的不一致性。 

（5）实验

训练数据集：REDS、Vimeo-90K

测试数据集：REDS4(从REDS中抽取的4个视频)、Vid4、Vimeo-90K-T

迭代优化器：Adam optimizer

学习率：4*10^-4

PCD模块：5个RB(残差块)

EVDR2：级联的第二阶段20RB

重建模块：40个RB

batchsize：32

LR的size：64*64

损失函数：Charbonnier loss

（5.1）相比较其他模型的实验结果：

 （5.2）消融实验实验结果：

总结 ：

这篇文章也是针对对齐和融合部分，进行了设计改进，提出金字塔级联可变形对齐模块以及时空注意力融合模块，这个片模型的设计可以对提取出的特征进行权重分配，更好的对提取和融合的特征信息进行提取。利用不同层级之间的信息传递以及由粗到细的特征提取，完成大视差和复杂运动的对齐。但是因为本模型为了解决上述的两个问题，所以使用了复杂的结构，金字塔型的信息传递、注意力机制的使用以及两阶段策略，所以本模型在取得良好效果的同时，也附带较大的参数量，对于部分工业需求，可能需要对模型本身进行缩减。

写Bug的小廉
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
超分之RVRT
Ton的博客
07-28 2333
VSR方法大致分为Sliding-windows、Recurrent、Transformer三大类，其中后面两个是目前已被证明更好的方法。现有的视频超分陷入了2个极端，即要么就是Recurrent-based模型，要么就是Transformer-based模型。Recurrent-based模型例如RLSP、BasicVSR、BasicVSR++等通过一帧接一帧的方式对LR图像进行超分。虽然基于RNN会使得模型共享从而产生较小的模型量；此外每次处理一帧也使得运算效率很高；例如VSRT、VRTLRS。...
视频超分算法EDVR：Video Restoration with Enhanced Deformable Convolutional Network超分辨率重建
qq_45122568的博客
05-05 4117
EDVR: Video Restoration with Enhanced Deformable Convolutional Networks一级目录二级目录三级目录 一级目录 二级目录 三级目录
[2201] VRT: A Video Restoration Transformer
koukouvagia的博客
03-12 2703
VRT: A Video Restoration Transformer
超分之EDVR-代码详解
最新发布
xxyyzz的博客
06-15 796
EDVR: Video Restoration with Enhanced Deformable Convolutional Networks 代码详解EDVR: Video Restoration with Enhanced Deformable Convolutional Networks1.EDVR的网络模型1.1 输入1.2 特征提取1.3 特征对齐1.4 特征融合1.5 高分重建2.各个小模块的代码实现2.1 对齐模块 PCDAlignment2.2 融合模块3.参考链接 ED
Recurrent+Transformer 视频恢复领域的‘德艺双馨’
我爱计算机视觉
06-11 1810
关注公众号，发现CV技术之美本文分享论文『Recurrent Video Restoration Transformer with Guided Deformable Attention』，是 Jingyun 大佬继SwinIR，VRT之后的又一篇力作，在Transformer结构中套用了循环架构（笔者最近也在research这个点，奈何大佬太猛了）并从帧级对齐扩展到片段...
压缩视频质量增强论文DEFORMABLE CONVOLUTION DENSE NETWORK FOR COMPRESSED VIDEO QUALITYENHANCEMENT阅读笔记
import_torch_as_tf
10-21 1047
本文提出了一种基于可变形卷积的多帧残差密度网络（MRDN），利用高质量帧来补偿低质量帧，以提高压缩视频的质量。具体而言，所提出的网络由开发的运动补偿（MC）模块和质量增强（QE）模块组成，分别用于补偿和增强输入帧的质量。此外，为了在训练过程中增强边缘结构，在增强帧上引入了一种新的边缘增强损失。
Video Restoration with Enhanced Deformable Convolutional Network
01-28
针对这些挑战，我们提出了一种新的视频修复框架——增强可变形卷积网络（Enhanced Deformable Convolutional Networks, 简称EDVR）。 首先，为了解决大运动问题，我们设计了金字塔、级联和可变形（Pyramid, ...
video deblur framework edvr pretrained model
10-12
标题中的"video deblur framework edvr pretrained model"指的是一个专门用于视频去模糊的框架，名为EDVR（Enhanced Deblurring via Video Restoration）。这个框架在图像处理领域具有重要意义，因为视频模糊通常是...
EDVR_REDS_deblur_L.pth
06-10
There are four tracks in the NTIRE 2019 Challenges on Video Restoration and Enhancement: SR: super-resolution with a fixed downsampling kernel (MATLAB bicubic downsampling kernel is frequently used)....
全部的EDVR预训练模型
11-23
EDVR 超分辨率，GitHub上代码没有预训练模型。这里提供了官方全部的。----------------------------------------------------------------------------
EDVR_Vimeo90K_SR_L.pth
06-10
There are four tracks in the NTIRE 2019 Challenges on Video Restoration and Enhancement: SR: super-resolution with a fixed downsampling kernel (MATLAB bicubic downsampling kernel is frequently used)....
EDVR: Video Restoration with Enhanced Deformable Convolutional Networks
mytzs123的博客
02-11 84
视频恢复任务，包括超分辨率、去模糊等，正在引起计算机视觉界越来越多的关注。在NTIRE19挑战赛中发布了名为REDS的挑战性基准。这个新的基准从两个方面挑战了现有的方法：（1）如何在给定大运动的情况下对齐多个帧，以及（2）如何有效地将不同的帧与不同的运动和模糊融合。在这项工作中，我们提出了一种新的具有增强可变形卷积的视频恢复框架，称为EDVR，以解决这些挑战。首先，为了处理大的运动，我们设计了一个金字塔、级联和可变形（PCD）对齐模块，其中使用可变形卷积以从粗到细的方式在特征级别进行帧对齐。第二，我们提出了
Recurrent Video Restoration Transformer with Guided Deformable Attention
mytzs123的博客
03-09 79
具有引导变形注意的递归视频恢复变换器视频恢复旨在从多个低质量帧中恢复多个高质量帧。现有的视频恢复方法通常分为两种极端情况，即，它们要么并行恢复所有帧，要么以重复的方式逐帧恢复视频，这将导致不同的优点和缺点。通常，前者具有时间信息融合的优点。然而，它具有大的模型大小和密集的内存消耗；后者具有相对较小的模型大小，因为它跨帧共享参数；然而，它缺乏长期依赖性建模能力和并行性。在本文中，我们试图通过提出一种递归视频恢复变压器（即RVRT）来综合这两种情况的优点。RVRT在全局递归框架内并行处理局部相邻帧，这可以实现模
深度学习基础：超分辨率网络整理之EDVR网络
weixin_43507744的博客
09-16 2521
超分辨率（super-resolution）、去模糊（deblurring）等视频恢复任务越来越受到计算机视觉界的关注。在NTIRE19挑战赛中发布了一个名为REDS的具有挑战性的基准测试。这个新的基准测试从两个方面挑战了现有的方法:(1)如何在给定大运动的情况下对齐多个帧(2)如何有效地融合不同运动和模糊的不同帧。在这项工作中，我们提出了一种新的视频恢复框架，增强可变形卷积，称为EDVR，以解决这些挑战。首先，。其次，
用于增强压缩视频质量的可变形卷积密集网络
mytzs123的博客
07-06 753
DEFORMABLE CONVOLUTION DENSE NETWORK FOR COMPRESSED VIDEO QUALITY ENHANCEMENTABSTRACT与传统的视频质量增强不同，压缩视频质量增强的目标是减少视频压缩带来的伪影。现有的多帧压缩视频质量增强方法严重依赖于光流，效率低，性能有限。本文提出了一种具有可变形卷积的多帧剩余密集网络（MRDN），通过利用高质量帧来补偿低质量帧来提高压缩视频的质量。具体来说，该网络由开发的运动补偿（MC）模块和质量增强（QE）模块组成，分别用于补偿和增强输
ICASSP 2022 | 前沿音视频成果分享：基于可变形卷积的压缩视频质量增强网络
阿里云视频云的博客
03-11 4413
阿里云视频云视频编码与增强技术团队最新研究成果论文《基于可变形卷积的压缩视频质量增强网络》（Deformable Convolution Dense Network for Compressed Video Quality Enhancement）已被 ICASSP 2022 Image, Video & Multidimensional Signal Processing 主题会议接收，并受邀在今年5月的全球会议上向工业界和学术界进行方案报告。以下为技术成果的核心内容分享。 佳芙｜作者 背
视频超分经典文章（一）EDVR: Video Restoration with Enhanced Deformable Convolutional Networks (包含代码)
weixin_43515780的博客
12-28 1056
视频恢复任务，包括超分辨率、去模糊等，越来越受到计算机视觉界的关注。在NTIRE19挑战赛中发布了一个名为REDS的具有挑战性的基准测试。这个新的基准从两个方面挑战了现有的方法:(1)如何对给定大运动的多帧图像进行对齐，(2)如何有效地融合不同运动和模糊的不同帧。在这项工作中，我们提出了一个新的具有增强可变形卷积的视频恢复框架，称为EDVR，以解决这些挑战。首先，为了处理大的运动，我们设计了一个金字塔，级联和可变形(PCD)对齐模块，其中的帧对齐是在特征级使用可变形的卷积以粗到细的方式完成的。
EDVR——代码调试+训练
WinerChopin的博客
07-18 8962
2019年CVPR的文章EDVR: Video Restoration with Enhanced Deformable Convolutional Networks，做的是视频处理（包括视频帧的超分辨率技术与去模糊），从结构上看能够处理应用于任意书品转换的强监督任务；文中最亮眼的地方在于他提出了保证时序一致性（temporal consistency）的新方法，不是使用光流（optical fl...
将Edvr.cfg文件解析为一个Config结构体
05-27
假设`Edvr.cfg`文件内容如下： ``` [General] Version=1.0 Name=Edvr [Parameters] InputFile=input.mp4 OutputFile=output.mp4 FrameRate=30 ``` 可以通过以下步骤将`Edvr.cfg`文件解析为一个`Config`结构体： 1. 定义`Config`结构体，包含`General`和`Parameters`两个结构体。`General`结构体包含版本号和名称，`Parameters`结构体包含输入文件名、输出文件名和帧率。 ```c typedef struct { struct { float version; char name[50]; } general; struct { char input_file[100]; char output_file[100]; int frame_rate; } parameters; } Config; ``` 2. 编写解析函数，读取`Edvr.cfg`文件，并将读取的内容存储到`Config`结构体中。 ```c #include <stdio.h> #include <stdlib.h> #include <string.h> Config parse_config_file(const char* file_name) { Config config = {0}; char line[100]; char section[20] = ""; FILE* fp; fp = fopen(file_name, "r"); if (fp == NULL) { printf("Failed to open file: %s\n", file_name); return config; } while (fgets(line, sizeof(line), fp) != NULL) { // 去除行末换行符 if (line[strlen(line) - 1] == '\n') { line[strlen(line) - 1] = '\0'; } // 处理段落信息 if (line[0] == '[' && line[strlen(line) - 1] == ']') { strcpy(section, line + 1); section[strlen(section) - 1] = '\0'; } else { // 处理键值对信息 char* key = strtok(line, "="); char* value = strtok(NULL, "="); if (strcmp(section, "General") == 0) { if (strcmp(key, "Version") == 0) { config.general.version = atof(value); } else if (strcmp(key, "Name") == 0) { strncpy(config.general.name, value, sizeof(config.general.name) - 1); config.general.name[sizeof(config.general.name) - 1] = '\0'; } } else if (strcmp(section, "Parameters") == 0) { if (strcmp(key, "InputFile") == 0) { strncpy(config.parameters.input_file, value, sizeof(config.parameters.input_file) - 1); config.parameters.input_file[sizeof(config.parameters.input_file) - 1] = '\0'; } else if (strcmp(key, "OutputFile") == 0) { strncpy(config.parameters.output_file, value, sizeof(config.parameters.output_file) - 1); config.parameters.output_file[sizeof(config.parameters.output_file) - 1] = '\0'; } else if (strcmp(key, "FrameRate") == 0) { config.parameters.frame_rate = atoi(value); } } } } fclose(fp); return config; } ``` 上面的代码中，使用`fgets()`函数逐行读取`Edvr.cfg`文件的内容，然后根据行内容的不同，分别处理段落信息和键值对信息。具体来说： - 如果行内容以方括号开头和结尾，说明这是一个段落信息，需要将方括号中的内容作为当前段落的名称。 - 如果行内容中包含等号，说明这是一个键值对信息，需要将等号左边的字符串作为键，等号右边的字符串作为值。根据当前段落的名称和键的名称，将值存储到`Config`结构体的相应字段中。 3. 调用解析函数，读取`Edvr.cfg`文件并打印配置信息。 ```c int main() { Config config; config = parse_config_file("Edvr.cfg"); printf("General:\n"); printf("Version: %.1f\n", config.general.version); printf("Name: %s\n", config.general.name); printf("Parameters:\n"); printf("InputFile: %s\n", config.parameters.input_file); printf("OutputFile: %s\n", config.parameters.output_file); printf("FrameRate: %d\n", config.parameters.frame_rate); return 0; } ``` 上面的代码中，调用`parse_config_file()`函数解析`Edvr.cfg`文件，并将解析结果存储到`config`结构体中。然后，打印`config`结构体中的各个字段。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值