【论文研读总结】基于结构位置的自注意力机制

最新推荐文章于 2024-08-21 16:56:45 发布
最新推荐文章于 2024-08-21 16:56:45 发布
阅读量1.8k 收藏 56
点赞数 51
分类专栏： paper 文章标签： 人工智能 深度学习 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73629042/article/details/136925615
版权
文章介绍了一种结合自注意力网络(SANs)和结构编码的新方法，通过在依赖树中表示单词间的绝对和相对位置，提升了NIST中文到英语和WMT14英语到德语翻译任务的性能。
摘要由CSDN通过智能技术生成

目录

论文简介与作者

一句话简介

作者

摘要概括

区别

符号定义与公式

1.Self-Attention

2.Sequential Position Encoding（顺序位置编码）

关于序列中元素的绝对或相对位置的信息注入SAN

结构位置表述（采用树结构表示）

绝对位置定义

相对位置定义

3.将结构化PE集成到SAN中

绝对位置编码

使用非线性函数来融合序列和结构位置表示

相对位置编码

实验

数据集

实验步骤 

实验结果分析

个人总结

备注

论文简介与作者

一句话简介

SANs（Self Attention Networks, 自注意网络）+结构编码策略

作者

 

摘要概括

SANs(自注意网络)，我们使用依赖树来表示句子的语法结构，并提出了两种策略来编码依赖树中单词之间的位置关系。NIST中文版⇒英语和WMT14英语⇒德语翻译任务，绝对和相对顺序位置表示上都能始终如一地提高性能。

句子的潜在结构可以通过结构深度和距离来捕捉（Hewitt和Manning，2019）

---》我们提出了绝对结构位置来编码解析树中每个单词的深度，以及相对结构位置来对树中每个词对的距离进行编码。

区别：

我们将依赖树中的结构信息传输到SANs，深入关联句子内部信息。

符号定义与公式

1.Self-Attention

输入：X＝，

查询

其中为可训练参数

输出：

其中，为点积注意力模型

2.Sequential Position Encoding（顺序位置编码）
关于序列中元素的绝对或相对位置的信息注入SAN

绝对序列PE：ABSPE（abs）=f（abs/100002i/d），其中abs是序列中的绝对位置，i是位置表示的维数。f（·）是偶数维的sin（·），是奇数维的cos（·）。

相对顺序PE：RELPE（rel）=R[rel]，其中rel是查询词的相对位置，用于索引表示相对位置嵌入的可学习矩阵R。

结构位置表述（采用树结构表示）

（左边是旧方法，右边是新方法，可以看到绝对位置和相对位置编码效果都不一样）

  • 绝对位置定义

我们将句子的主要动词（Tapanainen和Jarvinen，1997）视为起源，并使用从目标词到起源的依赖路径的距离作为绝对结构位置

Xi为目标单词，origin为主要动词

Tips:

在神经机器翻译（NMT）中，处理BPE子词和词尾符号时，分配BPE子词共享原始词的绝对结构位置，并将依赖树中第一个大于最大绝对结构位置的整数设置为内容末尾符号的绝对结构位。

一文搞懂BPE分词算法 

 

  • 相对位置定义

如果xi和xj处于同一依赖边

如果xi和xj处于不同的依赖边

3.将结构化PE集成到SAN中
绝对位置编码
使用非线性函数来融合序列和结构位置表示

其中，fabs是非线性函数。ABSPE（absseq）和ABSPE（absstru）分别是绝对序列和结构位置

相对位置编码

不改变

实验

数据集

NIST Chinese⇒English

WMT14 English⇒German

记录 4-gram BLEU score评分

实验步骤 
  1. 在TRANSFORMER上评估了所提出的位置编码策略
  2. 在THUMT之上实现了它们
  3. 当使用相对结构位置编码时，我们使用剪切距离r=16
  4. 我们研究了BASE模型在汉语中的变化⇒英语任务，并用BIG模型评估两项翻译任务的整体表现
实验结果分析

分别从以下方面开始概述：

  1. 位置编码的效果
  2. 结构位置编码的影响
  3. 序列和结构位置编码策略的组合
  4. 语言探究评价（Surface，Syntactic，Semantic指标）

个人总结

  1. 提出了一种新的结构位置编码策略，通过考虑输入句子的潜在结构来增强SAN
  2. 从依赖树（两个单词之间的关系）中提取结构的绝对位置和相对位置

备注

以上仅为本人对此文章的看法，文章中的“我们”指代论文作者，详细可以自行查看原文章哦~。本人认知、科研水平有限，欢迎交流。

我明天再来学Web渗透
关注
  • 51
    点赞
  • 踩
  • 56
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
注意力机制论文研读
小膜仙的博客
04-12 4470
参考： 计算机视觉中的注意力机制 然后找了个博客，里面有论文引用，这篇博客真不错，把其论文好好看看 https://blog.csdn.net/Wayne2019/article/details/78488142 基于注意力机制的细腻度图像分类，里面也有篇论文，值得一看。 另外，我想寻找2018年甚至2019年的这领域的文章。 突然发现一片硕士论文讲述的是注意力机制的，基于注意力机制的图像分类深度...
论文研读|基于注意力的深度学习如何实时预测购买还是浏览（DIPN）
qq_41589941的博客
09-17 989
原文链接：Buying or Browsing? : Predicting Real-time Purchasing Intent using Attention-based Deep Network with Multiple Behavior 导读 本文主要介绍如何利用用户与海量弱信号的手机交互数据对用户实时的购买行为进行预测。 论文主要工作亮点 一种新的用户交互行为数据的收集、特征提取及利用 层级注意力的应用 多任务预测提升模型鲁棒性。 相关工作 购买意图预测 在以往的预测目标是预测会话
基于相对位置的自注意力机制------论文研读总结
m0_73629042的博客
03-18 965
不同学者使用不同的方式合并关于元素的顺序位置的信息。卷积神经网络固有地捕获每个卷积的内核大小内的相对位置。RNN在计算隐藏状态ht时，结合其在时间t的输入和先前隐藏状态ht-1的函数直接通过其序列结构捕获沿时间维度沿着的相对和绝对位置。Attention的扩展改为了：（将边信息传播到子层输出）eij使用compatib计算，并且比较两个输入元素的兼容性函数改为：（在计算兼容性时考虑边）其中参数是唯一的​​​​​​​相对位置表示法边表示相对位置距离。（边描绘相对位置，裁剪最大距离）
CV中的Attention机制总结
一直特立独行的猫
04-11 9718
SENet注意力机制的理解与PyTorch实现什么是注意力机制 什么是注意力机制 注意力机制是深度学习常用的一个小技巧，它有多种多样的实现形式，尽管实现方式多样，但是每一种注意力机制的核心都是类似的，就是注意力。 注意力机制的核心重点就是让网络关注到它更需要关注的地方。 当我们使用卷积神经网络去处理图片的时候，我们会更希望卷积神经网络去注意应该注意的地方，而不是什么都关注。我们不可能手动去调节需要注意的地方，这个时候，如何让卷积神经网络去自适应的注意重要的物体变得极为重要。 注意力机制就是实现网络自适应注
GLM论文研读
XD的博客
04-02 1909
目前已经发展出多种预训练模型，包括自编码模型（如BERT）、自回归模型（如GPT）和编码器-解码器模型（如T5）。然而，这些模型并未在自然语言理解（NLU）、无条件生成和条件生成这三类任务中都达到最佳表现。为此，我们提出了一个基于自回归式空格填充的通用模型（GLM）以应对这一挑战。GLM通过加入二维位置编码，并允许以任意顺序预测片段，优化了空格填充预训练，这使得其在NLU任务上的性能优于BERT和T5。同时，GLM可以通过调整空白数量和长度，针对不同类型的任务进行预训练。
论文研读｜多媒体自动评论生成发展综述
Meiling_up
08-04 370
论文研读｜多媒体自动评论生成发展综述
基于深度学习的命名实体识别研究综述——论文研读
世上再无张显宗
10-05 3733
命名实体识别论文研读。
论文研读_基于网格的多目标优化进化算法(GrEA算法)
ckm1377214的博客
10-26 1459
不失一般性，一个多目标优化问题可以被陈述为一个最小化问题，并以下述方式定义：其中，x表示可行解空间Ω中的解向量，Fi（i = 1,2,…,M）是要最小化的第i个目标函数。定义（帕累托支配）：其中，x≺y表示x支配y。帕累托支配关系反映了决策者对首选结构的最弱假设。一个不被其他向量所支配的决策向量称为帕累托最优解。在决策空间中最优解的集合被称为帕累托集，相应的目标向量集合被称为帕累托前沿。在GrEA中，网格被用作一个框架，用来确定目标空间中个体的位置。因此，它与进化群体的适应性似乎是明智的。
[论文笔记]构建基于RAG聊天机器人的要素
日积月累，天道酬勤
07-12 873
⭐ 作者来自英伟达的团队，介绍了他们在构建企业级RAG聊天机器人的经验。提出了FACTS这5个要注意的方面以及15个可提升性能的控制点。是一篇偏实战的工作，值得仔细研读。
论文研读-论文复现-QQ-Net
08-20
本资源主要包含了复现论文以及复现代码： 这是一篇关于使用深度学习技术改进定量易感性映射（Quantitative Susceptibility Mapping, QSM）和定量血氧水平依赖性（Quantitative Blood Oxygen Level Dependent, qBOLD...
论文研读与个人复现指南.pdf
08-06
学习前沿技术的一个重要途径是阅读最新的学术论文并尝试复现其中的方法和结果。本文将介绍如何高效地研读论文，提供个人复现资源，帮助你掌握最新技术并应用到实际项目中。
数学建模第一次论文研读报告.pdf
04-08
数学建模第一次论文研读报告.pdf
论文研读与个人复现-赋能小伙伴学习前沿技术-markdown材料.zip
08-06
《论文研读与个人复现-赋能小伙伴学习前沿技术》是一份精心编写的Markdown文档，旨在帮助对前沿技术感兴趣的小伙伴们深入了解和实践最新的研究成果。这份文档不仅提供了详细的论文阅读指南，还分享了如何有效地复现...
论文学习 论文研读与个人复现资源，赋能小伙伴学习前沿技术.pdf
07-26
论文学习 论文研读与个人复现资源，赋能小伙伴学习前沿技术.pdf
零基础学习人工智能—Python—Pytorch学习（六）
kiba518的博客
08-21 887
前言 本文主要讲神经网络的上半部分。 这篇文章开始有很多公式了，这些公式都很简单，但是如果是不经常在脑海里思考公式的人，那可能需要多花点时间做一下自我训练，个人感觉，也就几天时间，就能把自己感觉给调整出来。 习惯了公式看下面内容就会轻松很多，另外如果要深入学习人工智能，熟练的认知公式也是个必须的事情。 另外，我发现我前面文章写的有歧义的地方还是挺多，虽然，已经改了一部分，但，可能还有没发现的，大...
天猫商品详情API：深度挖掘商品推荐与关联的新路径
2401_85789772的博客
08-20 772
天猫商品详情API是天猫开放平台提供的一项服务，旨在帮助开发者获取天猫平台上商品的详细信息，包括但不限于商品标题、价格、销量、描述、图片以及推荐与关联商品等。这一接口不仅为购物者提供了丰富的商品信息，也为商家和开发者提供了强大的数据支持，助力其优化商品展示策略，提升用户购物体验。天猫商品详情API为开发者提供了深入挖掘商品推荐与关联信息的新途径。通过合理利用这一接口，开发者可以实现精准的商品推荐与关联展示，提升用户体验和平台运营效率。
yolov8 出现loss 为nan
最新发布
zhaoluruoyan89的博客
08-21 316
这篇博客警示读者在购买用于深度学习的显卡时要避开那些导致RuntimeWarning: All-NaN slice encountered的问题。作者强调这些Tensor核心存在严重缺陷，不适宜进行深度学习任务，建议大家在选购时务必谨慎。方法二：将混合精度训练AMP 设置为False。方法一：降低cuda和pytorch 版本号。
基于Python星载气溶胶数据处理与反演分析
lwjnlqiqi的博客
08-21 1171
Python星载气溶胶数据处理与反演分析
vgg注意力机制预训练
08-26
在VGG模型中加入注意力机制的预训练有两个方面的影响。首先，注意力机制可以帮助在前面的几层卷积中更充分地提取底层特征，从而增强了模型对图像细节的关注。其次，通过在最后一层或几个最后一层添加注意力机制，可以让模型更加聚焦于感兴趣的区域，以提高图像分类的准确性。 根据引用中的阅读记录，VGG模型的预训练通常使用前几层的权重作为基础网络，这些权重包含了底层特征。通过在这些底层特征上加入注意力机制，可以让模型更加关注图像中的细节并提取更加丰富的特征。这样的做法可以提升图像分类的效果。 此外，引用中提到，预训练网络的特征提取方法可以在深度学习中应用于小数据问题，并具有较好的可移植性。这意味着通过在VGG模型中加入注意力机制进行预训练，可以在其他类似的图像分类任务中使用，而不仅仅局限于特定的数据集和问题。 综上所述，通过在VGG模型中加入注意力机制的预训练，可以提升模型对图像细节的关注和特征的丰富程度，进而提高图像分类的准确性，并具有较好的可移植性。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [注意力机制论文研读](https://blog.csdn.net/m0_38116269/article/details/89214357)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [Keras实现——预训练卷积神经网络（VGG16）](https://blog.csdn.net/m0_72662900/article/details/126562165)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值