Video Super-resolution with Temporal Group Attention 论文阅读笔记

最新推荐文章于 2021-06-18 09:32:50 发布
最新推荐文章于 2021-06-18 09:32:50 发布
阅读量409 收藏 1
点赞数
分类专栏： 机器学习 文章标签： pytorch 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43108465/article/details/108394914
版权

Video Super-resolution with Temporal Group Attention 论文阅读笔记

论文做出的贡献。

  1. 提出了一种新颖的神经网络，该神经网络可以通过帧速率感知组以分层方式有效地融合时空信息
  2. 介绍了一种快速空间对齐方法来处理运动较大的视频
  3. 所提出的方法在两个流行的VSR基准上实现了最先进的性能。

相关工作

在这里插入图片描述
首先作者提出了将视频帧按照距离参考帧的大小来分组，如图中（1，2，3，4，5，6，7）的帧就被分为了三组（1，4，7），（2，4，6），（3，4，5）。
这么做的原因有两个：

  • 距离参考帧不同距离的帧所提供的信息是互补的的，尤其在遮挡，大运动，扭曲的情况下。
  • 参考帧可以作为提取信息的指引。
组内融合模块

组内融合模块的作用是为每个分组提供特征提取和信息融合，每个模块包含三个部分，其中使用的卷积层都会依据不同的分组带有不同的膨胀因子（dilation rate）其依据是距离远的帧所带有的运动偏向更大。另外值得一提的是，每个组内融合的权重是共享的。

组间融合模块

在这里插入图片描述
组间融合模块使用了注意力机制，并且通过softmax，以时间轴压缩不同帧。
在这里插入图片描述
在这里插入图片描述
组间融合模块的目标是在不同的时间群中聚合信息，并生成高分辨率的残差图。

上采样

最后生成的高分辨率残差图和bicubic 图进行融合上采样。

快速时空对齐方法FSA

不同以往使用的光流估计方法，作者估计每组连续帧之间的同质性，并且将相邻帧扭曲到参考帧。
在这里插入图片描述
与光流估计相比较计算同质性的方法更加的有效和高效率， 由于计算每个像素的光流，不完善的光流估计会给翘曲带来意想不到的像素级失真，破坏原始图像的结构。然而计算同质性（homography）可以利用传递性的性质一次完成，减少了计算的冗余。
在这里插入图片描述
在这里插入图片描述

与其他方法的对比

在这里插入图片描述
表现十分优秀。

论文主体部分分析到这里，关于具体执行的细节和有关的灵敏度分析可以参考具体论文。
论文地址

边学边写
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【YOLOv8改进 - 注意力机制】 CascadedGroupAttention：级联组注意力，增强视觉Transformer中多头自注意力机制的效率和有效性
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-02 186
视觉Transformer由于其强大的模型能力，已经展示了巨大的成功。然而，其显著的性能伴随着高计算成本，这使得它们不适合实时应用。在本文中，我们提出了一系列高速视觉Transformer，命名为EfficientViT。我们发现现有Transformer模型的速度通常受限于内存效率低的操作，尤其是MHSA中的张量重塑和元素级函数。因此，我们设计了一个新的构建块，采用三明治布局，即在高效的FFN层之间使用单个内存绑定的MHSA，以提高内存效率同时增强通道通信。
Video Super-resolution with Temporal Group Attention | 摘要翻译 | 视频超分重建 |
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
01-27 629
https://arxiv.org/pdf/2007.10595.pdf https://github.com/junpan19/VSR_TGA 论文对应代码，现已开源（致敬大佬） 额，后续有时间再测试代码… 少量翻译（有道词典） Abstract 视频超分辨率是一种将相应的低分辨率视频转化为高分辨率视频的技术，近年来受到越来越多的关注。 在这项工作中，我们提出了一种新的方法，可以有效地整合时间信息在一个层次的方式。输入序列被分成若干组，每组对应一种帧速率。这些组提供互补的信息来恢复参考框架中..
Video Super-resolution with Temporal Group Attention
Stay hungry,stay young
06-10 4344
发表在CVPR2020。 主要工作：将连续的视频帧根据时间间隔分为多组，然后通过一个注意力模块和组间融合模块进行集成，同时，为了对齐大尺度运动的视频帧，采取了与以往基于光流或者可变卷积不同的对齐方式，本文采用的是计算两个连续帧之间的单应性矩阵，然后将邻帧扭曲到参考帧。 整体架构 组内融合模块（Intra-group Fusion Module） 包括三个部分，第一部分有3个单元作为空间特征提取，每个单元由一个3x3卷积层、BN和ReLU组成，每个卷积层根据不同的帧率采用不同的扩张率，主要是.
VSR_TGA：Video Super-resolution with Temporal Group Attention阅读
造未来
11-23 770
这是CVPR2020的一篇视频超分辨文章，由清华和华为公司联合完成。 代码链接：https://github.com/junpan19/VSR_TGA ** 文章思路 ** 文章主要特点是提出一个分组分层提取时间信息的策略。 具体的实现过程： 1）首先讲=将输入的视频帧根据到目标帧的距离远近，分为不同的组别，比如七帧的输入[1，2，3，4，5，6，7]，分组后的结果是[1,4,7]，[2,4,6]，[3,4,5]，每一组中都含有目标帧，这是必须的，不然无法指导目标帧有效的超分。（这种分组效果相当于产生了不.
《论文阅读》Video Super-resolution with Temporal Group Attention
未知丶的博客
09-08 1869
留个笔记自用 Video Super-resolution with Temporal Group Attention 做什么 Video super-resolution视频超分辨，经典应用，低分辨率的图片在放大后必然是模糊的，超分辨做的便是将低分辨的图片转化成高分辨率的图片并且做到清晰。 这里的视频超分辨也是同样一个意思，不过将图片转换成了视频的某个部分，但这里有所增加的依靠便是视频存在着上下帧。 做了什么 怎么做 总结 ...
超分辨率(CVPR2020) ~《Video Super-resolution with Temporal Group Attention》
weixin_41447373的博客
10-12 3861
有兴趣的朋友可以加微信：qyf--1314相互讨论技术 论文：https://arxiv.org/abs/2004.01398 官方代码：https://github.com/Phoenix1327/tea-action-recognition
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 5943
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
请查收！顶会AAAI 2020录用论文之自然语言处理篇
语言智能技术笔记簿
02-23 1万+
2020年人工智能顶级会议AAAI录用的自然语言处理领域的研究论文已为您准备就绪，请查收！
顶会速递 | ICLR 2020录用论文全集
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
视频超分：TGA（Video Super-resolution with Temporal Group Attention）
WangsyHebut的博客
09-27 1653
论文：视频超分与时域注意机制 文章检索出处：2020 CVPR提出了一种快速空间对准模块，使用离线光流或集成光流网络进行运动估计和补偿。我们估计每两个连续帧之间的单应性并扭曲相邻帧一直到参考帧。兴趣点可以通过特征检测器(SIFT,ORB)进行检测，并计算点对应关系以估计单应性。帧A到C的单应性可以计算为A到B与B到C的乘积。单应性的逆变换可以用矩阵的逆来表示。我们还介绍了用于预对齐的稳健性退出机制，即在检测到很少兴趣点或者在应用逆后，帧与结果之间存在很大差异时，将帧保持原样而不进行任何的预对准。仅供学习使用
Robust Video Super-Resolution with Learned Temporal Dynamics
Stay hungry,stay young
12-19 783
发表在ICCV2017。 帧间的时间关系，帧内的空间关系。 主要有两个工作： 时间自适应网络和空间对齐网络。 可以看到空间对齐网络是时间自适应网络的预处理阶段，将对齐的视频帧和参考帧作为时间自适应网络的输入。 时间自适应网络主要包括两个部分：SR推断分支和时间调制分支，SR分支采用ESPCN作为对不同数量的连续视频帧超分处理的方法，时间调制分支是为了对每个推断的分支生成像素级的...
论文笔记：Revisiting Temporal Modeling for Video Super-resolution（重新审视视频超分辨率的时间建模） Part1 系咁嘅啦
Arsenal_ZHQ的博客
12-13 940
视频超分辨率在监控视频分析和超高清视频显示中起着重要的作用，在研究界和工业界都引起了广泛的关注。尽管已经提出了许多基于深度学习的VSR方法，但是由于不同的损失函数和训练数据集对超分辨率结果有重大影响，因此很难直接比较这些方法。在这项工作中，我们仔细研究和比较了三种时间建模方法（具有早期融合的2D CNN，具有缓慢融合的3D CNN和递归神经网络）来实现视频超分辨率。**==我们还提出了一种新颖的递归残差网络（RRN），以实现有效的视频超分辨率，其中利用残差学习来稳定RNN的训练并同时提高超分辨率性能。==
VSR论文笔记二|Robust Video Super-Resolution with Learned Temporal Dynamics
eight_Jessen的博客
11-03 523
1.总结 视频超分提取帧间的信息很重要，作者提出了一个可以自适应选择优化范围的时序自适应网络，同时作者用一个空间对齐网络减少邻帧的的运动复杂性。具体来讲就是：首先有一个时序自适应网络。时序信息对视频超分很重要，以往有通过复杂的优化来解决但是引入了计算负担和时间负担，也有一些使用固定的temporal scale通过显式应用运动补偿来产生网络的输入。作者提出一个自适应时序网络，可以鲁棒应对各种运动类型并且选择优化的范围。网络的输入是经过运动补偿后对齐的LR帧，然后应用不同的时序size产生HRsize估计。
A Fine-grained Spatial-Temporal Attention Model for Video Captioning
NODIECANFLY
11-07 995
使用一种细粒度的时空注意模型进行视频描述 概述 注意机制（Attention mechanism）在视频描述领域的应用。然而，大多数现有的视频描述方法在帧级上应用注意机制，其仅对时域结构 进行建模并生成单词，但忽略提供与语义内容对应的准确视觉特征的区域级空间信息。在这篇论文中，作者提出了一种细粒度的时空注意模型（FSTA），视频中出现的物体的空间信息将成为我们的主要关注点。 在提出的FSTA中，我...
超分论文笔记2020CVPR视频超分：Zooming Slow-Mo- VSR with Temporal Group Attention-TDAN
eight_Jessen的博客
09-11 1046
Space-Time Video Super-Resolution (STVSR) 问题定义： 从一个低像素低帧率恢复出高帧率高分辨率的视频。 1.Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution 代码链接 1.1 总结 之前的一些方法采用手工制作的正则化方法，并做出比较强的假设，这些方法限制了模型的容量和扩展到更多样的模式，同时计算量大。 现在的一些深度学习的方法，一种直接的方法是组合对视频插针和视
Two-stream Collaborative Learning with Spatial-Temporal Attention for Video Classification
wydbyxr的博客
11-28 543
Two-stream Collaborative Learning with Spatial-Temporal Attention for Video Classification   视频自然由静态和运动信息组成，可以用帧和光流来表示。最近，研究人员普遍采用深度网络来捕捉静态和动态信息，主要有两个局限性：   1）忽略空间和时间关注的共存关系，而要共同建模；   2）忽视静态信息和运动信息在视频...
Video Captioning with Multi-Faceted Attention
人工智能
06-11 1167
Video Captioning with Multi-Faceted Attention Xiang Long, Chuang Gan, Gerard de Melo (Submitted on 1 Dec 2016) Recently, video captioning has been attracting an increasing amount of interes
ViSiL: Fine-grained Spatio-Temporal Video Similarity Learning张量点
最新发布
06-10
ViSiL: Fine-grained Spatio-Temporal Video Similarity Learning 中使用了张量点（tensor dot）操作，用于将空间编码器和时序编码器的输出相结合。 张量点是一种常用的张量运算，可以将两个张量按照一定的规则进行乘法和加法操作，得到一个新的张量。在ViSiL中，张量点被用来将空间编码器和时序编码器的输出相结合，得到视频的综合特征表示。 具体地，ViSiL中使用的张量点操作是将空间编码器的输出张量和时序编码器的输出张量进行张量乘法运算。这个运算的结果是一个三维张量，其中第一维对应视频的数量，第二维对应空间编码器的输出特征图的通道数，第三维对应时序编码器的输出状态向量的维度。 通过使用张量点操作，ViSiL可以将空间信息和时序信息相结合，得到视频的综合特征表示。这个综合特征表示可以用于计算视频之间的相似度得分，从而实现细粒度视频相似性学习的目标。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值