Video Super-resolution with Temporal Group Attention

最新推荐文章于 2024-08-13 08:50:30 发布
最新推荐文章于 2024-08-13 08:50:30 发布
阅读量4.3k 收藏 5
点赞数
分类专栏： Paper Reading
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Aray1234/article/details/106666738
版权
该研究发表在CVPR2020，提出了一种新的视频超分辨率方法，通过时间分组和注意力机制处理连续帧。采用单应性矩阵对齐大尺度运动帧，减少了像素级别的失真，并在关键点不足或变换显著时具有退出机制，提高了鲁棒性。
摘要由CSDN通过智能技术生成

发表在CVPR2020。

主要工作：将连续的视频帧根据时间间隔分为多组，然后通过一个注意力模块和组间融合模块进行集成，同时，为了对齐大尺度运动的视频帧，采取了与以往基于光流或者可变卷积不同的对齐方式，本文采用的是计算两个连续帧之间的单应性矩阵，然后将邻帧扭曲到参考帧。 

整体架构

组内融合模块（Intra-group Fusion Module）

包括三个部分，第一部分有3个单元作为空间特征提取，每个单元由一个3x3卷积层、BN和ReLU组成，每个卷积层根据不同的帧率采用不同的扩张率，主要是基于帧的时间间隔大，运动幅度也比较大，反之运动幅度较小；第二部分使用3x3x3的3D卷积用于时空特征融合；最后每组产生的组级别融合特征采用2D dense block里面的18个2D单元，用于进一步整合组内帧信息。

组间融合模块 (Inter-group Fusion Module)

由于邻帧与参考帧更加相似，慢帧率的组级别特征会有较丰富的信息，而快帧率的组级别特征会捕捉一些邻帧丢失的细节信息， 时间注意力作为一种指导，有效地整合不同时间间隔组的特征

最低0.47元/天 解锁文章
Aray1234
关注
专栏目录
Video Super-resolution with Temporal Group Attention | 摘要翻译 | 视频超分重建 |
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
01-27 636
https://arxiv.org/pdf/2007.10595.pdf https://github.com/junpan19/VSR_TGA 论文对应代码，现已开源（致敬大佬） 额，后续有时间再测试代码… 少量翻译（有道词典） Abstract 视频超分辨率是一种将相应的低分辨率视频转化为高分辨率视频的技术，近年来受到越来越多的关注。 在这项工作中，我们提出了一种新的方法，可以有效地整合时间信息在一个层次的方式。输入序列被分成若干组，每组对应一种帧速率。这些组提供互补的信息来恢复参考框架中..
视频超分：TGA（Video Super-resolution with Temporal Group Attention）
WangsyHebut的博客
09-27 1691
论文：视频超分与时域注意机制 文章检索出处：2020 CVPR提出了一种快速空间对准模块，使用离线光流或集成光流网络进行运动估计和补偿。我们估计每两个连续帧之间的单应性并扭曲相邻帧一直到参考帧。兴趣点可以通过特征检测器(SIFT,ORB)进行检测，并计算点对应关系以估计单应性。帧A到C的单应性可以计算为A到B与B到C的乘积。单应性的逆变换可以用矩阵的逆来表示。我们还介绍了用于预对齐的稳健性退出机制，即在检测到很少兴趣点或者在应用逆后，帧与结果之间存在很大差异时，将帧保持原样而不进行任何的预对准。仅供学习使用
视频超分辨率(VideoSuperResolution)项目安装与使用指南
最新发布
gitblog_00673的博客
08-13 324
视频超分辨率(VideoSuperResolution)项目安装与使用指南 VideoSuperResolutionA collection of state-of-the-art video or single-image super-resolution architectures, reimplemented in tensorflow. 项目地址:https://gitcode.com/...
《论文阅读》Video Super-resolution with Temporal Group Attention
未知丶的博客
09-08 1882
留个笔记自用 Video Super-resolution with Temporal Group Attention 做什么 Video super-resolution视频超分辨，经典应用，低分辨率的图片在放大后必然是模糊的，超分辨做的便是将低分辨的图片转化成高分辨率的图片并且做到清晰。 这里的视频超分辨也是同样一个意思，不过将图片转换成了视频的某个部分，但这里有所增加的依靠便是视频存在着上下帧。 做了什么 怎么做 总结 ...
超分辨率(CVPR2020) ~《Video Super-resolution with Temporal Group Attention》
weixin_41447373的博客
10-12 3879
有兴趣的朋友可以加微信：qyf--1314相互讨论技术 论文：https://arxiv.org/abs/2004.01398 官方代码：https://github.com/Phoenix1327/tea-action-recognition
视频超分：RSDN（Video Super-Resolution with Recurrent Structure-Detail Network）
WangsyHebut的博客
09-26 2689
论文：视频超分与循环的结构-细节网络 文章检索出处：2020 ECCV仅供学习使用，请勿转载。 我们提出了一种新颖的循环视频超分辨率方法，它将输入分为结构组件和细节组件，这些组件被馈入到几个two-stream structure-detail 模块所组成的循环单元中。另外还引入了隐藏状态适配模块，它允许当前帧有选择的使用来自隐藏状态的信息，以增强其对外观变化和错误累计的鲁棒性。在超分辨率的性能和速度方面，变表现非常出色。...
matlab最简单的代码-video-super-resolution:在Pytorch中实现的视频超分辨率
05-22
matlab最简单的代码视频超分辨率，SRCNN，MFCNN，VDCN...您应该看到数据路径是video-super-resolution/data/train/ 。 处理数据 数据由MATLAB脚本处理，原因是MATLAB的插值实现不同于Python。 为此，请打开您的MATLAB $
GitHub：超分辨率最全资料集锦
阿木寺的博客
10-23 8337
作者：ChaofWang | 编辑：Amusi 前言 本文将分享的内容是：超分辨率（Super Resolution，SR）最全资料合集，涵盖了SISR、VSR等。 一张图看懂超分辨率SR作用 注：文末附超分辨率SR微信交流群，欢迎加入学习 Awesome-Super-Resolution 项目作者：ChaofWang Star 数量：636 Commit 数量：120 https://github.com/ChaofWang/Awesome-Super-Resolution 该项目主要包含以下内
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
CVPR 2020 论文大盘点-超分辨率篇
OpenCV中文网
10-22 1558
本文盘点CVPR 2020 所有超分辨率（Super-Resolution，SR）技术相关论文，总计21篇，超分辨率是CV领域传统方向，下面这张图让你一眼明白它要做什么。图片来自CVPR...
videojs-super-resolution:视频JS的超分辨率
05-17
videojs-超分辨率 超级分辨率超强！ 安装 npm install --save @mux/videojs-super-resolution 用法 要将videojs-super-resolution包含在您的网站或Web应用程序中，请使用以下任何一种方法。 [removed]标记 这是最简单的情况。 以您喜欢的任何方式获取脚本，并在包含之后添加，以使videojs全局可用。 < script src =" //path/to/video.min.js " > </ script > < script src =" //path/to/videojs-super-resolution.min.js " > </ script > < script > var player = videojs ( 'my-video' ) ; player . superResolution
VideoSuperResolution：一组最新的视频或单图像超分辨率架构，在Tensorflow中重新实现
02-06
视频超分辨率 在tensorflow中重新实现的最新视频或单图像超分辨率体系结构的集合。 项目现已上传到PyPI。 尝试从PyPI安装： pip install VSR 预先训练的权重现在正在上传。 现在还包括一些引用的PyTorch实现。 快速链接： 网络列表和参考（更新） 超链接指向论文站点，如果作者为开源，则遵循官方法规。 所有这些模型都在ONE框架中实现。 模型 已发表 码* VSR（TF）** VSR（火炬） 关键词 预训练 神经网络 -， ÿ ÿ 开明 RAISR -- -- -- Google，Pixel 3 埃斯佩克 -， ÿ ÿ
Detail-revealing Deep Video Super-resolution 论文笔记
Cyiano的博客
10-27 6328
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记简介 视频超分辨关注的主要问题有两个：一是如何充分利用多帧关联信息，而是如何有效地融合图像细节到高分辨率图像中。 动作补偿方面，深度学习方法用的是backward warping到参考帧，但这个方法其实并不是最优的。多帧融合方面，虽然很多CNN方法可以产生丰富的细节，但不能确定图像细节是来自
Robust Video Super-Resolution with Learned Temporal Dynamics
Stay hungry,stay young
12-19 788
发表在ICCV2017。 帧间的时间关系，帧内的空间关系。 主要有两个工作： 时间自适应网络和空间对齐网络。 可以看到空间对齐网络是时间自适应网络的预处理阶段，将对齐的视频帧和参考帧作为时间自适应网络的输入。 时间自适应网络主要包括两个部分：SR推断分支和时间调制分支，SR分支采用ESPCN作为对不同数量的连续视频帧超分处理的方法，时间调制分支是为了对每个推断的分支生成像素级的...
VSR_TGA：Video Super-resolution with Temporal Group Attention阅读
造未来
11-23 778
这是CVPR2020的一篇视频超分辨文章，由清华和华为公司联合完成。 代码链接：https://github.com/junpan19/VSR_TGA ** 文章思路 ** 文章主要特点是提出一个分组分层提取时间信息的策略。 具体的实现过程： 1）首先讲=将输入的视频帧根据到目标帧的距离远近，分为不同的组别，比如七帧的输入[1，2，3，4，5，6，7]，分组后的结果是[1,4,7]，[2,4,6]，[3,4,5]，每一组中都含有目标帧，这是必须的，不然无法指导目标帧有效的超分。（这种分组效果相当于产生了不.
Video Super-resolution with Temporal Group Attention 论文阅读笔记
weixin_43108465的博客
09-03 436
Video Super-resolution with Temporal Group Attention 论文阅读笔记论文做出的贡献。相关工作组内融合模块组间融合模块上采样快速时空对齐方法FSA与其他方法的对比 论文做出的贡献。 提出了一种新颖的神经网络，该神经网络可以通过帧速率感知组以分层方式有效地融合时空信息 介绍了一种快速空间对齐方法来处理运动较大的视频 所提出的方法在两个流行的VSR基准上实现了最先进的性能。 相关工作 首先作者提出了将视频帧按照距离参考帧的大小来分组，如图中（1，2，3，4，
Video Super-Resolution with Recurrent Structure-Detail Network阅读笔记
Gedulding的博客
02-25 2782
Video Super-Resolution with Recurrent Structure-Detail Network （视频超分与循环的结构-细节网络） 文章检索出处：2020 ECCV 论文：https://arxiv.org/abs/2008.00455 本篇笔记分为三部分：1，全文大致浏览。2，关键图文以及结构分析。3，实验分析。 1，全文大致浏览 （1）摘要 简单叙述本文特点以及提出的内容，本文提出新的循环视频超分算法，对比过去借助时间滑动窗口中的相邻帧然后超分单个参考帧，以...
探索视频超分辨率技术：flyywh的Video-Super-Resolution项目
gitblog_00096的博客
04-27 364
探索视频超分辨率技术：flyywh的Video-Super-Resolution项目 项目地址:https://gitcode.com/flyywh/Video-Super-Resolution 在这个高清晰度时代，视频质量的重要性不言而喻。但是，受限于存储、传输或历史资料的原因，低分辨率的视频仍普遍存在。幸运的是，通过深度学习技术，我们可以对这些视频进行超级分辨率处理，将其提升至接近高清甚至全高...
CTAA-----电影时间抗锯齿----Cinematic Temporal Anti-Aliasing
08-28
CTAA是一种用于电影时间抗锯齿的技术，全称为Cinematic Temporal Anti-Aliasing。抗锯齿是指在图像渲染过程中，通过一些算法和技术来减少或消除锯齿和走样现象，使图像更加平滑和清晰。 CTAA是一种高级的抗锯齿技术...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值