MEMORY-AUGMENTED ATTENTION MODELLING FOR VIDEOS

最新推荐文章于 2023-12-04 14:56:34 发布
最新推荐文章于 2023-12-04 14:56:34 发布
阅读量275 收藏
点赞数
分类专栏： 论文学习

论文学习

MEMORY-AUGMENTED ATTENTION MODELLING FOR VIDEOS

作者： Rasool Fakoory, Abdel-rahman Mohamed,yy, Margaret Mitchellzy, Sing Bing Kangyy, Pushmeet Kohliyy
单位：Google，Microsoft Research，University of Texas at Arlington
杂志：ICLR
时间：2017
针对问题：现有的注意力机制模型不能建模高阶交互，如视频描述，因视频及其描述较为复杂。
解决方法：
1、提出基于记忆的注意力机制
2、当推理何处应该进行注意时，使用过去注意力的记忆；与人类认知的中央执行系统类似；

mning_master0
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MAST: A Memory-Augmented Self-Supervised Tracker
weixin_45032769的博客
11-06 949
Abstract 最近对自监督密集跟踪的兴趣已经取得了迅速的进展，但是性能仍然离监督方法还有很远的一段路要走。 我们提出了一种基于无注释视频训练的密集跟踪模型，该模型在现有基准上比以往的自监督方法有很大的提高(+15%)，并且取得了与监督方法相当的性能。 在本文中 ，我们首先通过深入的实验重新评估了用于自我监督训练和重建损失的传统选择，最后阐明了最优选择。 其次，我们通过使用一个关键的内存组件来增强我们的体系结构，从而进一步改进了现有的方法。 第三，我们以大规模半监督视频对象分割为基准(又名。 密集跟踪)，
MeMOTR: Long-Term Memory-Augmented Transformer for Multi-Object
08-02
为了解决这一问题，研究者提出了MeMOTR（Long-Term Memory-Augmented Transformer），这是一种创新性的模型，旨在通过引入定制的记忆-注意力层来注入长期记忆，从而增强同一目标的跟踪嵌入的稳定性和可区分性。...
《Neural Machine Translation with Key-Value Memory-Augmented Attention》（IJCAI 2018）
wwx123521的博客
03-21 470
问题：重复翻译，漏译问题，传统基于注意力的NMT不能有效追踪注意力历史，导致decoder会忽略历史的注意力信息 解决方法：一个及时更新的key-memory来跟踪注意力历史，一个固定的value-memory来存储翻译过程中源语句的表示。通过两个存储器之间的非平凡变换和迭代交互，解码器关注于更合适的源端单词，用于在每个解码步骤预测下一个目标单词，因此可以提高翻译的充分性。 思路：首先利用d...
Multimodal Memory Modelling for Video Captioning
人工智能
06-11 1043
Multimodal Memory Modelling for Video Captioning Junbo Wang, Wei Wang, Yan Huang, Liang Wang, Tieniu Tan (Submitted on 17 Nov 2016) Video captioning which automatically translates video cli
Memory-Augmented Non-Local Attention for Video Super-Resolution
最新发布
mytzs123的博客
12-04 75
最近的视频超分辨率工作已经提出了将相邻帧与当前帧对齐的各种方法，或者通过使用光流的显式扭曲[2，17，20，27]，或者使用可变形卷积的学习隐式对齐[28，31]。这阻碍了现有视频超分辨率方法在真实世界视频中的应用，例如以自我为中心的体育视频（见第4.1节中的跑酷数据集），以及一些来自动画、电影和vlog的视频（见补充材料中的其他示例）。在图1（a）中，虽然最先进的视频超分辨率方法EDVR[31]和TOFlow[36]因融合未对齐的帧而失败，但我们的方法重建了尖锐的细节，如屋顶上的条纹和挥动的手臂。
CVPR2021-超分辨率
lucky_chen
09-15 3211
Learning the Non-Differentiable Optimization for Blind Super-Resolution[PDF] Image Super-Resolution With Non-Local Sparse Attention[PDF] GLEAN: Generative Latent Bank for Large-Factor Image Super-Resolution[PDF] BasicVSR: The Search for Essential Compon
One-shot learning with Memory-Augmented Neural Networks
01-21
One-shot learning with Memory-Augmented Neural Networks,这是2016年arXiv的关于元学习的论文
A Factor-Augmented Vector Autoregression Analysis 因子增强向量自回归分析
03-09
A Factor-Augmented Vector Autoregression Analysis of Business Cycle Synchronization in East Asia and Implications for a Regional Currency Union 因子增强向量自回归分析 东亚经济周期同步研究 对区域货币...
escletxa-video-augmented-reality:适用于 Android 的视频流增强现实播放器
06-24
Escletxa 是一种视频流渲染器，以增强现实方式显示流。 您可以在观看 4 个同时播放的全功率视频流时转身。 安装应用程序时，您首先会看到一个定制的 ZXing QR 扫描仪。 你可以寻找一个包含生命、宇宙和一切答案的...
A Reliability-Augmented Particle Filter for Magnetic Fingerprinting Based Indoor Localization on Smartphone
02-07
A Reliability-Augmented Particle Filter for Magnetic Fingerprinting Based Indoor Localization on Smartphone
计算机视觉论文-2021-04-02
中科院AI算法工程师的博客
04-02 1391
本专栏是计算机视觉方向论文收集积累，时间：2021年4月2日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Commonsense Spatial Reasoning for Visually Intelligent Agents AUTHORS: Agnese Chiatti ; Gianluca Bardaro ; Enrico ...
CVPR2020开源论文（部分带阅读笔记）
热门推荐
知识混子_的博客
05-29 3万+
CVPR2020论文开源项目合集CNNExploring Self-attention for Image RecognitionImproving Convolutional Networks with Self-Calibrated ConvolutionsRethinking Depthwise Separable Convolutions: How Intra-Kernel Correlations Lead to Improved MobileNets图像分类Compositional Convo
超分辨率(CVPR2020) ~《Video Super-resolution with Temporal Group Attention》
weixin_41447373的博客
10-12 3828
有兴趣的朋友可以加微信：qyf--1314相互讨论技术 论文：https://arxiv.org/abs/2004.01398 官方代码：https://github.com/Phoenix1327/tea-action-recognition
论文笔记：Meshed-Memory Transformer for Image Captioning
sajo_manaka
10-16 996
Meshed-Memory Transformer for Image Captioning 本文在transformer的基础上，对于Image Caption任务，提出了一个全新的fully-attentive网络。同时本文借鉴了之前任务提出的两个key novelties: 以multi-level 的方式进行encode，在对low-level relation 和 high-level relation进行建模时，该模型可以通过使用持久的内存向量来学习和编码先验知识。 语句生成同时用到了low-
One-shot Learning with Memory-Augmented Neural Networks
fourierr的博客
01-22 7810
摘要 尽管深度学习应用领域最近取得了较大的进展，但是小样本学习的挑战是一直存在的，传统的基于梯度的网络需要大量的数据去学习，通常需要经过大量广泛的迭代训练。当给模型输入新数据时，模型必须低效的重新学习其参数从而充分的融入新的信息，并不会造成较大的干扰影响。具有增强记忆能力的网络结构，例如NTMs具有快速编码新信息的能力，因此能消除传统模型的缺点。这里，我们证明了记忆增强神经网络（memory-a...
Memory-Augmented Attribute Manipulation Networks for Interactive Fashion Search
aimtohit的博客
07-09 697
Bo Zhao， Jiashi Feng ，Xiao Wu ,Shuicheng Yan   Southwest Jiaotong University ，National University of Singapore ，360 AI Institute     1.Motivation   基于时尚服饰的图像搜索引擎，用户给出一张图片，系统检索到相似的图片推荐给用户。但有时用户可能...
Learning Attribute Representations with Localization for Flexible Fashion Search
aimtohit的博客
10-23 718
整体结构 FSN的整体结构：前面是AlexNet的结构，将AlexNetd的两个全连接层换为卷积层conv6,conv7，并进行GAP操作，最后接入A个全连接层进行attribute的分类。使用attribute cls的loss进行训练，使得网络能够利用AAM产生不需要监督信息的ROI，使用ROI提取对应的conv5输出的特征图，并送入相应的全连接层组成的分支，共有A个，对应A个可能的attri...
2D Attention Network for Scene Text Recognition
Francis Liu
07-18 3129
paper地址：2D Attentional Irregular Scene Text Recognizer. 继 Transformer-based-OCR 后又一篇基于语言、翻译模型架构的不规则文字识别的paper，主要贡献如下： attention部分使用多层双向transformer的block（BERT）替代了单transformer block； label只用于计算loss，不...
voc2012数据集详解
weixin_44523062的博客
03-04 1584
https://blog.csdn.net/wenxueliu/article/details/80327316 在目标检测中，如果对数据不了解，在数据集处理这块有时候会看得云里雾里。比如 trainval 这个词到底指什么 标签中的 bbox 中的 ymax, xmax, ymin, xmin 取值范围是多少，如何计算的？ 图片与标签是如何关联起来的等等 本文的目的： 明白数据集是如何组织...
Memory-Augmented Neural Networks和Prototypical Networks哪个更常用
07-14
相比之下，Memory-Augmented Neural Networks在元学习领域相对较新，并且在实际应用中使用较少。Memory-Augmented Neural Networks使用外部存储器来保存任务相关的信息，通过注意力机制来读取和写入存储器。这种模型...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值