Recurrent+Transformer 视频恢复领域的‘德艺双馨’

最新推荐文章于 2024-11-24 12:53:42 发布
最新推荐文章于 2024-11-24 12:53:42 发布
阅读量2k 收藏 4
点赞数 1
文章标签： java 机器学习 人工智能 计算机视觉 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/moxibingdao/article/details/125240922
版权
本文介绍了一种新的视频恢复方法——RVRT，结合了循环网络和Transformer的优点，通过片段对齐和引导变形注意力机制实现高效视频恢复。在多个数据集上达到SOTA性能，同时在模型大小和效率之间取得平衡。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

关注公众号，发现CV技术之美

本文分享论文『Recurrent Video Restoration Transformer with Guided Deformable Attention』，是 Jingyun 大佬继SwinIR，VRT之后的又一篇力作，在Transformer结构中套用了循环架构（笔者最近也在research这个点，奈何大佬太猛了）并从帧级对齐扩展到片段对齐。RVRT在VID4上超过了VRT，在REDS4上超过了Basicvsr++！

详细信息如下：

bce5434bea47eafa5aa39bcc2f68c8d2.png

  • 作者单位：苏黎世联邦理工、Meta、维尔茨堡大学 

  • 论文链接：https://arxiv.org/pdf/2206.02146.pdf

  • 项目链接：https://github.com/JingyunLiang/RVRT

      01      

看点

现有的视频恢复方法主要有两种 ：

  1. 并行恢复所有帧，它具有时间信息融合的优势，但是模型尺寸大，

最低0.47元/天 解锁文章
VRT: 关于视频修复的模型（论文复现）
wei_shuo的博客
07-29 1590
VRT: 关于视频修复的模型（论文复现）
VTN：视频Transformer网络
阿木寺的博客
02-02 2536
可与现有backbone结合，使其具有超强视频分类/理解的能力，如ViT/DeiT+ VTN 真香！训练速度提高了16.1倍，运行速度提高了5.1倍，代码和预训练模型即将开源！ 注1：文末附【Transformer】流群 Video Transformer Network 作者单位：Theator公司 论文：https://arxiv.org/abs/2102.00719 本文介绍了VTN，这是一种基于Transformer的视频识别框架。 受视觉Transformer最新发展的启发，我们放弃了基于3
超分之RVRT
Ton的博客
07-28 3254
VSR方法大致分为Sliding-windows、Recurrent、Transformer三大类，其中后面两个是目前已被证明更好的方法。现有的视频超分陷入了2个极端，即要么就是Recurrent-based模型，要么就是Transformer-based模型。Recurrent-based模型例如RLSP、BasicVSR、BasicVSR++等通过一帧接一帧的方式对LR图像进行超分。虽然基于RNN会使得模型共享从而产生较小的模型量；此外每次处理一帧也使得运算效率很高；例如VSRT、VRTLRS。...
ACL 2020 MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning
smile909的博客
05-17 810
动机 本文目标是生成一个段落（多个句子），条件是输入具有几个预定义的事件片段的视频。为视频生成多句子描述是最具挑战性的任务之一，因为它不仅要求视频的视觉相关性，而且要求段落中句子之间基于语篇的连贯性。 最近，Transformer已被证明比RNN更有效，在许多顺序建模任务中展示了卓越的性能。之前将transformer模型引入视频段落captioning任务的方法，Transformer操作在分离的固定长度的段上，没有跨段的任何信息流。Transformer架构仍然不能很好地建模历史信息。因此，为了生成更
Recurrent Video Restoration Transformer with Guided Deformable Attention
mytzs123的博客
03-09 500
具有引导变形注意的递归视频恢复变换器视频恢复旨在从多个低质量帧中恢复多个高质量帧。现有的视频恢复方法通常分为两种极端情况，即，它们要么并行恢复所有帧，要么以重复的方式逐帧恢复视频，这将导致不同的优点和缺点。通常，前者具有时间信息融合的优点。然而，它具有大的模型大小和密集的内存消耗；后者具有相对较小的模型大小，因为它跨帧共享参数；然而，它缺乏长期依赖性建模能力和并行性。在本文中，我们试图通过提出一种递归视频恢复变压器（即RVRT）来综合这两种情况的优点。RVRT在全局递归框架内并行处理局部相邻帧，这可以实现模
[2201] VRT: A Video Restoration Transformer
koukouvagia的博客
03-12 3122
VRT: A Video Restoration Transformer
【传知代码】VRT_ 关于视频修复的模型
2301_78427762的博客
11-24 1669
随着数字媒体的广泛应用，视频内容的制作和传播变得越来越普遍。然而，由于各种原因，如传输、存储、录制设备等，视频中常常存在各种质量问题，包括模糊、噪音、低分辨率等。这些问题直接影响了用户体验和观看效果，因此视频修复技术变得至关重要。视频修复的定义： 视频修复是一种通过应用计算机视觉和图像处理技术，从低质量的视频帧中重建高质量的视频序列的过程。其目标是改善视频质量，使得观众在观看时能够获得更清晰、更真实的视觉体验。
视频增强论文Spatio-Temporal Transformer Network for Video Restoration阅读笔记
import_torch_as_tf
06-09 1310
论文来源：ECCV2018 论文链接：Spatio-Temporal Transformer Network for Video Restoration | SpringerLink
【传知代码】VRT: 关于视频修复的模型（论文复现）
ztK63LrD的博客
05-15 1892
视频修复技术（Video Restoration Techniques，VRT）是一种利用计算机视觉和图像处理技术来改善、修复和恢复视频内容的方法。其主要目的是消除视频中存在的噪声、模糊、失真、抖动等问题，使视频内容更清晰、更稳定，并且提高其视觉质量和观感。其实现的作用是：1）噪声去除：使用去噪算法来消除视频中的各种类型的噪声，例如高斯噪声、椒盐噪声等，以提高图像质量和清晰度。2）运动补偿：通过分析视频中的运动信息，利用运动估计和补偿技术来减少视频中的运动模糊，使图像更加清晰和稳定。
Block-Recurrent Transformer
lunhuicnm的博客
05-24 434
论文地址：https://arxiv.org/abs/2203.07852v1 github:https://github.com/lucidrains/block-recurrent-transformer-pytorch
[论文翻译]Recurrent Spatial Transformer Networks（RNN-STN）
bxdzyhx的博客
11-01 809
0. 摘要 我们将STN与RNN结合，提出了RNN-STN模型，并用该模型进行MNIST手写数字识别。该模型单数字的错误在1.5%，相比之下CNN的错误率在2.9%，STN的错误率为2.0%。 STN能输出放大、旋转和倾斜的输入图像。 我们研究了STN的不同下采样因子（输入和输出像素比），表明RNN-STN模型能够在不恶化性能的情况下对输入图像进行下采样。在RNN-STN中的下采样可以被认为是自适应下采样，以最小化感兴趣区域的信息丢失。 我们将RNN-STN的优越性能归因于它可以处理一系列感兴趣的区域。 .
VRT：视频恢复领域的革命性Transformer
gitblog_00905的博客
10-10 953
VRT：视频恢复领域的革命性Transformer VRT VRT: A Video Restoration Transformer (official repository) 项目地址: https://gitcode.com/...
Recurrent+Transformer | 视频恢复领域的‘德艺双馨’
WangsyHebut的博客
06-12 1067
（本文首发于"我爱计算机视觉"，如需转载等事宜请联系我爱计算机视觉） 作者单位：苏黎世联邦理工、Meta、维尔茨堡大学 论文链接：https://arxiv.org/pdf/2206.02146.pdf 代码链接：https://github.com/JingyunLiang/RVRT 笔者言： Jingyun大佬继SwinIR，VRT之后的又一篇力作，在Transformer结构中套用了循环架构（笔者最近也在research这个点，奈何大佬太猛了）并从帧级对齐扩展到片段对齐。RVRT在VID4上超过了VR
视频详解Transformer模型（1）
weixin_40920183的博客
04-05 257
视频来源YouTube，版权归属原作者Shusen Wang
TimeSformer视频理解框架：视频理解中的Transformer
zhuzyibooooo的博客
07-31 3674
如果直接将VIT用于视频理解，那要怎么做呢，容易想到的方法是抽取多帧图片，每一帧的图像都分成一个一个的小patch，然后直接送入transformer。从原理上来说这样是可行的，但是就如同3D卷积神经网络一样，计算量是非常庞大的，特别是对于视频时间相对长一些的数据来说，需要提取的帧数也要随之增加。本文中作者实验了五种不同的方式，最终发现了所谓的dividedspace-timeattention，就是空间和时间上分离的注意力这种方式，不仅减少了计算量，效果上还表现SOTA。下图是作者实验的几种结构。...
视频智能解析：Transformer模型在视频理解的突破性应用
2401_85842555的博客
07-11 1263
视频理解涉及从视频中提取有意义的信息，并对其进行解释和分析。动作识别场景识别视频分类视频问答事件检测。
恢复视频算法VRT
weixin_48262500的博客
03-06 668
VSR通常需要利用多个相邻但通常不对齐的视频帧的时间信息。现有的方法通常利用滑动窗口策略或循环架构来解决这一问题，这要么受到逐帧恢复的限制，要么缺乏远程建模能力。 VRT的特点是并行计算和远程依赖建模，它在多个尺度上提取、对齐和融合帧特征 本文提出了相互注意以完成帧间相互对齐，这是隐式运动估计后的广义版本图像扭曲 VRT在视频恢复方面实现了最先进的性能，包括视频超分辨率、去模糊和去噪 https://github.com/JingyunLiang/VRT.githttps
EDVR: Video Restoration with Enhanced Deformable Convolutional Networks阅读笔记
Gedulding的博客
06-14 1231
EVDR、Video Restoration with Enhanced Deformable Convolutional Networks、TSA、PCD、金字塔，注意力机制、时间注意力、空间注意力、两步骤策略、可变形卷积、隐式运动估计、DCN、由粗到细、
视频重建论文EDVR: Video Restoration with Enhanced Deformable Convolutional Networks阅读笔记
import_torch_as_tf
06-16 1811
论文来源：CVPRW2019 论文链接：http://ieeexplore.ieee.org/document/9025464 项目地址：
bigru+transformer
最新发布
01-07
### 结合BiGRU和Transformer模型的信息与实现 #### BiGRU简介 双向门控循环单元（Bidirectional Gated Recurrent Unit, BiGRU）是一种改进型的循环神经网络结构，它通过前向和反向两个方向分别捕捉序列中的上下文信息。这种设计使得模型能够在任意时间步获取到完整的前后依赖关系。 #### Transformer架构概述 Transformers基于自注意力机制构建而成，在处理长距离依赖方面表现出色，并且摒弃了传统的RNN/LSTM/GRU所必需的时间顺序计算特性。其核心组件包括多头自注意层、位置编码以及残差连接等[^3]。 #### 融合策略 为了充分利用两者优势，可以考虑如下几种方式： 1. **混合输入表示** 将经过BiGRU提取特征后的隐藏状态作为额外维度附加至原始词嵌入之上再送入Transformer中继续加工。 2. **级联组合** 首先利用BiGRU完成初步语义解析任务；随后把得到的结果传递给后续阶段——即由若干个标准transformer block构成的深层堆叠模块来进行更深层次的理解工作。 3. **并行双路径** 同时运行两套独立但平行运作的不同类型的子网路（一个是bi-gru另一个则是纯正版transformer），最后汇聚它们各自的输出形成最终预测结果。 以下是Python代码片段展示如何创建一个简单的结合BiGRU和Transformer的PyTorch模型: ```python import torch.nn as nn from transformers import BertModel class BiGRU_Transformer(nn.Module): def __init__(self, vocab_size, embed_dim=768, hidden_dim=512, num_layers=2, nhead=8): super(BiGRU_Transformer, self).__init__() # Embedding Layer self.embedding = nn.Embedding(vocab_size, embed_dim) # Bidirectional GRU Layers self.bigru = nn.GRU(input_size=embed_dim, hidden_size=hidden_dim//2, bidirectional=True, batch_first=True, num_layers=num_layers) # Positional Encoding & Transformer Encoder self.transformer_encoder_layer = nn.TransformerEncoderLayer(d_model=hidden_dim, nhead=nhead) self.transformer_encoder = nn.TransformerEncoder(self.transformer_encoder_layer, num_layers=num_layers) # Output Layer self.fc_out = nn.Linear(hidden_dim, vocab_size) def forward(self, src): embedded = self.embedding(src) gru_output, _ = self.bigru(embedded) trans_input = gru_output.permute(1,0,2) # Adjust dimensions for transformer encoded_seq = self.transformer_encoder(trans_input) out = self.fc_out(encoded_seq.mean(dim=0)) return out ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值