【Luna: Linear Unified Nested Attention】2021

最新推荐文章于 2024-07-05 22:10:12 发布
最新推荐文章于 2024-07-05 22:10:12 发布
阅读量613 收藏
点赞数
分类专栏： Transformer-based 文章标签： 深度学习 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gesshoo/article/details/123589084
版权

线性统一嵌套注意力。用两个嵌套的线性注意力函数近似softmax attention，只产生线性(而不是二次)的时间和空间复杂性。

Luna引入了一个固定长度的额外的序列作为输入，对应着一个额外的输出，寻允许Luna线性地进行注意操作，同时还存储足够的上下文信息。

具体地说，利用第一个注意力函数，Luna将输出序列打包成固定长度的序列。然后，使用第二个注意力函数对打包的序列进行解包。Luna引入了一个固定长度的附加序列作为输入和一个附加的相应输出。重要的是，额外的输入能够像Linformer一样高效地线性的注意力操作，同时也存储了足够的上下文信息。不像Linformer的是，Luna能模拟可变长度序列和自回归注意力。

模型

Pack and Unpack Attention

L

最低0.47元/天 解锁文章
gesshoo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
UNIMO：Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning
BachelorSC ' s Notes
03-01 3388
**本文内容仅代表个人理解，如有错误，欢迎指正** 1. Points 1) UNIMO是一个预训练模型，其输入可以有不同的形式(eg, Image collections, Text corpus, Image-Text Pairs)，并且可以微调后用于单模态(Single-modal)任务与多模态(Multi-modal)任务。即不仅在预训练时利用了image-text pair的数据，还充分利用了大量单模态的数据(non-paired single-modal, like images and t
【NeurIPS 2021】Luna: Linear Unified Nested Attention 线性统一嵌套注意力
weixin_45378275的博客
07-30 269
该文章针对Transformer时间和空间复杂度高的问题，提出了一个线性统一嵌套注意力机制（Luna）。引入了一个额外的固定长度的序列作为输入，并产生一个额外的相应输出，使用两个嵌套注意力函数来近似Transformer中的常规softmax注意力，从而实现线性的时间和空间复杂度。与各种强大的基准模型相比，Luna实现了具有竞争力，甚至更好的性能。
《预训练周刊》第12期：无注意力变换器、借蛋白质语言模型论进化速度
BAAIBeijing的博客
06-18 735
No.12智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点，为了帮助研究与工程人员了解这一领域的进展和资讯，智源社区整理了第11期《预训练周刊》...
自然语言处理 | (26) 注意力(Attention)机制总结
热门推荐
sdu_hao的博客
03-06 1万+
原文地址 目录 1. 前言 2. Seq2Seq 模型 3. NLP中注意力机制起源 4. NLP中的注意力机制 5. Hierarchical Attention 6. Attention机制的本质 7. Self-Attention 8. Memory-based Attention 9. Soft/Hard Attention 10. Global/Local Att...
【论文阅读】CVPR2021: MP3: A Unified Model to Map, Perceive, Predict and Plan
这里是张聪明，正在学习中，请稍后
03-27 4267
Summary: 非常棒！端到端输出map中间态 一种建图 感知 预测 规划的通用框架 Type: CVPR Year: 2021 引用量: 20
FaceNet: A Unified Embedding for Face Recognition and Clustering（论文阅读笔记）
weixin_40671425的博客
07-07 6930
论文中一个很重要的贡献是提出了triplet loss 论文链接：https://arxiv.org/abs/1503.03832 摘要 尽管人脸识别领域最近取得了重大进展[10,14,15,17]，但大规模高效地实现人脸验证和识别对现有方法提出了严峻挑战。在这篇论文中，我们提出了一个叫做FaceNet的系统，它可以直接从人脸图像学习到一个紧凑的欧几里德空间的映射，其中距离直接对应于...
UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning
qq_45645521的博客
01-22 3444
UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning（通过跨模态对比学习实现统一模态的理解和生成） 1.现有方法的不足： 目前的方法要么只能专注于单模态的任务，要么只能专注于多模态任务，而不能将这二者有机地统一在一起互相补充 2.创新点： 提出UNIMO这一统一模态的预训练架构，可以有效地适应单模态和多模态的理解和生成任务。预训练可以包含三部分：单一的image、单一的te
CNN-RNN: A Unified Framework for Multi-label ImageClassification
我的博客
02-25 2506
文章目录CNN-RNN: A Unified Framework for Multi-label ImageClassificationCVPR 2016介绍方法LSTM模型推理 CNN-RNN: A Unified Framework for Multi-label ImageClassification CVPR 2016 在本文中，我们利用递归神经网络（RNN）来解决标签依赖性。提出的CNN...
全文翻译 MotionBERT: A Unified Perspective on Learning Human Motion
08-07
MotionBERT: A Unified Perspective on Learning Human Motion Representations 全文翻译、原排版、未精修，可结合原文及以下链接笔记观看： https://blog.csdn.net/lqy61/article/details/132129163
【深度学习论文】FaceNet: A Unified Embedding for Face Recognition and Clustering
01-07
FaceNet: A Unified Embedding for Face Recognition and Clustering – 原文 译文 其他参考博客： CSDN博客：【深度学习论文笔记】FaceNet: A Unified Embedding for Face Recognition and Clustering ...
Saliency Snake: A unified framework with adaptive initial curve
02-11
Saliency Snake: A unified framework with adaptive initial curve
嵌入式系统设计：统一的硬件/软件方法Embedded System Design: A Unified Hardware/Software Approach
11-15
介绍一种使用现代方法的嵌入式系统设计，该方法需要软件和硬件的统一视图。
英文论文原文FaceNet: A Unified Embedding for Face Recognition and Clustering
11-22
深度学习神经网络在人脸识别中的运用，网络采用欧氏距离来衡量两张人脸图片之间的相似度。
CNN文献综述
暴力扬
07-05 1158
卷积神经网络作为深度学习的重要分支，凭借其强大的特征提取能力和广泛的应用前景，成为了当前人工智能研究的热点。未来，随着计算资源的不断增长和算法的持续优化，CNN将继续在各个领域发挥重要作用，并推动人工智能技术的进一步发展。
第16周：LSTM-火灾温度预测
weixin_46620278的博客
07-05 916
🍨 本文为[🔗365天深度学习训练营](https://mp.weixin.qq.com/s/0dvHCaOoFnW8SCp3JpzKxg) 中的学习记录博客🍖 原作者：[K同学啊](https://mtyjkh.blog.csdn.net/)说在前面本周目标：对时序数据进行预测，了解LSTM是什么，并使用其构建一个完整的程序，并使最后的决定系数R^2达到0.83；拔高目标——使用第1~8个时刻的数据预测第9~10个时刻的温度数据。
深度学习之交叉验证
AndrewPerfect的博客
07-02 430
交叉验证（Cross-Validation）是一种用于评估和验证机器学习模型性能的技术，尤其是在数据量有限的情况下。它通过将数据集分成多个子集，反复训练和测试模型，以更稳定和可靠地估计模型的泛化能力。
阶段总结——基于深度学习的三叶青图像识别
2301_78630677的博客
07-05 790
阶段总结——基于深度学习的三叶青图像识别。
[深度学习]卷积理解
最新发布
qq_43235540的博客
07-05 330
当输入有多个通道时,卷积核需要拥有相同的通道数. 假设输入有c个通道,那么卷积核的每个通道分别于相应的输入数据通道进行卷积,然后将得到的特征图对应元素相加,最终输出一个单通道的特征图, 它的数学表达式如下图所示.一个卷积核对应输入图像某一个特征,理论上卷积核数量越多,能够提取的特征越丰富.看这个的可视化就很好理解了。
embedded system desing: a unified hardware/software introduction
08-10
嵌入式系统设计是一个统一的硬件/软件介绍。嵌入式系统是指嵌入在其他设备或系统中的计算机系统，用于控制和执行特定功能。这些系统通常具有小型，低功耗，实时性和可靠性的特点。 嵌入式系统设计涉及到硬件和软件的结合，因此必须同时考虑到两者的要求和限制。硬件方面，设计师需要选择适合嵌入式系统的处理器，存储器，输入/输出接口等组件，并进行电路设计和物理布局。同时，硬件设计必须满足嵌入式系统的资源限制，如尺寸，功耗和成本。 在软件方面，嵌入式系统设计涉及到编写嵌入式软件，以实现所需的功能。这需要考虑到系统的实时要求和资源限制。实时性要求保证嵌入式系统能够及时响应外部事件，并按时完成任务。而资源限制（如处理器速度，内存容量）则要求软件设计尽可能高效地利用硬件资源。 在嵌入式系统设计中，还需要解决硬件和软件之间的接口问题。硬件与软件之间的通信和协作是嵌入式系统正常工作的关键。因此，在设计过程中需要考虑到接口的设计和优化，以确保数据传输的可靠性和性能。 总而言之，嵌入式系统设计是一项复杂而关键的过程，要求设计者同时兼顾硬件和软件方面的要求和限制。只有优秀的嵌入式系统设计才能确保嵌入式系统的稳定性，性能和可靠性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值