attention、self-attention、transformer和bert模型基本原理简述笔记

最新推荐文章于 2024-04-29 11:04:54 发布
最新推荐文章于 2024-04-29 11:04:54 发布
阅读量969 收藏 6
点赞数 2
文章标签： 人工智能 python
原文链接：https://my.oschina.net/u/3851199/blog/3012476
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

attention

以google神经机器翻译(NMT)为例

  • 无attention：

    encoder-decoder在无attention机制时，由encoder将输入序列转化为最后一层输出state向量，再由state向量来循环输出序列每个字符。

  • attention机制：

    将整个序列的信息压缩在一维向量里造成信息丢失，并且考虑到输出的某个字符只与输入序列的某个或某几个相关，与其他输入字符不相关或相关性较弱，由此提出了attention机制。在encoder层将输入序列的每个字符output向量以不同权重进行组合再decode输出字符，每需要输出一个字符，encoder层权重序列都会变，这就可以理解为需要输出的字符是由哪些或那个字符影响最大，这就是注意力机制。

    attention权重的获得需要通过一个函数层获得，而该函数参数需要通过training来优化，详细理解可以参考我这篇blog

    从增强字/词的语义表示这一角度来理解一下Attention机制：

    Attention机制主要涉及到三个概念：Query、Key和Value。在上面增强字的语义表示这个应用场景中，目标字及其上下文的字都有各自的原始Value，Attention机制将目标字作为Query、其上下文的各个字作为Key，并将Query与各个Key的相似性作为权重，把上下文各个字的Value融入目标字的原始Value中。如下图所示，Attention机制将目标字和上下文各个字的语义向量表示作为输入，首先通过线性变换获得目标字的Query向量表示、上下文各个字的Key向量表示以及目标字与上下文各个字的原始Value表示，然后计算Query向量与各个Key向量的相似度作为权重，加权融合目标字的Value向量和各个上下文字的Value向量，作为Attention的输出，即：目标字的增强语义向量表示。

self-attention

self-attention来自于google文章《attention is all you need》。 一个序列每个字符对其上下文字符的影响作用都不同，每个字对序列的语义信息贡献也不同，可以通过一种机制将原输入序列中字符向量通过加权融合序列中所有字符的语义向量信息来产生新的向量，即增强了原语义信息。

Self-Attention:对于输入文本，我们需要对其中的每个字分别增强语义向量表示，因此，我们分别将每个字作为Query，加权融合文本中所有字的语义信息，得到各个字的增强语义向量，如下图所示。在这种情况下，Query、Key和Value的向量表示均来自于同一输入文本，因此，该Attention机制也叫Self-Attention。

Multi-head Self-Attention

为了增强Attention的多样性，文章作者进一步利用不同的Self-Attention模块获得文本中每个字在不同语义空间下的增强语义向量，并将每个字的多个增强语义向量进行线性组合，从而获得一个最终的与原始字向量长度相同的增强语义向量，如下图所示。

Transformer

在Multi-headSelf-Attention的基础上再添加一些“佐料”，就构成了大名鼎鼎的Transformer Encoder。实际上，Transformer模型还包含一个Decoder模块用于生成文本，但由于BERT模型中并未使用到Decoder模块，因此这里对其不作详述。下图展示了Transformer Encoder的内部结构，可以看到，Transformer Encoder在Multi-head Self-Attention之上又添加了三种关键操作：

  • 残差连接（ResidualConnection）：将模块的输入与输出直接相加，作为最后的输出。这种操作背后的一个基本考虑是：修改输入比重构整个输出更容易（“锦上添花”比“雪中送炭”容易多了！）。这样一来，可以使网络更容易训练。

  • Layer Normalization：对某一层神经网络节点作0均值1方差的标准化。

  • 线性转换：对每个字的增强语义向量再做两次线性变换，以增强整个模型的表达能力。这里，变换后的向量与原向量保持长度相同。

    可以看到，Transformer Encoder的输入和输出在形式上还是完全相同，因此，Transformer Encoder同样可以表示为将输入文本中各个字的语义向量转换为相同长度的增强语义向量的一个黑盒。

bert

把Transformer Encoder模块一层一层的堆叠起来就是大名鼎鼎的bert了

参考1：https://mp.weixin.qq.com/s/HOt11jG0DhhVuFWYhKNXtg 参考2：https://mp.weixin.qq.com/s/RLxWevVWHXgX-UcoxDS70w

转载于:https://my.oschina.net/u/3851199/blog/3012476

weixin_33836874
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的Encoder-Decoder模型。从X翻译到Y。 但是这种方式是基于RNN模型，存在两个问题。 一是RNN存在梯度消失的问题。（LSTM/GRU只是缓解这个问题） 二是RNN 有时间上的方向性，不能用于并行操作。Transformer 摆脱了RNN这种问题。 2.Transformer 的整体框架 输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
seq2seq、attention、self-attention、transformer、bert
qq_48566899的博客
07-21 464
首先，训练第一个任务是，随机遮挡单词，然后通过梯度下降调参，让predict与被遮挡的单词尽量接近，所以这个训练无需人工标注，训练集自动生成，模型自动训练好参数。bert是为了预训练Transformer中的encoder， bert其实就是只有编码器的transformer。本文推荐看看shusenwang在bilibili上的课程。然后，训练第二个任务是，判断两个句子是否相连接。bert想法简单效果好，但是计算量特别大。
深度探索：机器学习中的自注意力机制（Self-Attention）原理及应用
最新发布
qq_51320133的博客
04-29 1945
自注意力机制作为一种革命性的概念，已经深刻改变了机器学习，特别是自然语言处理和计算机视觉领域的研究和实践。它通过直接建模序列中所有位置之间的关系，解决了传统模型在处理长距离依赖和全局上下文理解方面的局限性，推动了诸如Transformer这样的模型架构的发展，极大地提升了模型的性能和效率。 未来，自注意力机制的研究和发展趋势可能集中在以下几个方面： 效率优化：持续探索减少自注意力计算成本的方法，如稀疏注意力机制、近似注意力计算等，使得自注意力模型能在资源受限的设备上高效运行。 可解释性增强：提高自注意力
关于自然语言处理（NLP）的一些基本知识（RNN，LSTM，Attention，Self Attention，Transformer，Bert，GPT之间的关系）
xfysq_的博客
04-01 978
关于自然语言处理（NLP）的一些基本知识（RNN，LSTM，Attention，Self Attention，Transformer，Bert，GPT之间的关系）
自注意力机制(Self-Attention)
热门推荐
Michale_L的博客
08-27 8万+
自注意力机制
全网最通俗易懂的 Self-Attention自注意力机制 讲解
大脸猫的博客
10-04 6万+
前言 因工作需要，不得不再次将Transformer从尘封的记忆中取出。 半年前学Transformer的时候只觉得模型好复杂，步骤好复杂，论文读完，想了好几天，感觉还是没有完全搞明白，仅仅是记住了一些专有名词，除了用于吹牛逼其余一无是处，因为内部的机理完全不明白，所以这些名词啊、公式啊转眼就忘。 Self-attention是Transformer最核心的思想，这两天重新阅读了论文，有了一些新的感想，便急忙将其记下，与朋友们共勉。 博主刚开始接触self-attention时，最不理解的地方就是Q
李宏毅《深度学习》- Self-attention 自注意力机制
0202zc 的博客
10-20 1万+
无论是预测视频观看人数还是图像处理，输入都可以看作是一个向量，输出是一个数值或类别。然而，若输入是一系列向量（序列），同时长度会改变，例如把句子里的单词都描述为向量，那么模型的输入就是一个向量集合，并且每个向量的大小都不一样： 将单词表示为向量的方法：One-hot Encoding（独热编码）。向量的长度就是世界上所有词汇的数目，用不同位的1（其余位置为0）表示一个词汇，如下所示：但是它并不能区分出同类别的词汇，里面没有任何有意义的信息。另一个方法是Word Embedding：给单词一个向量，这个向量
一文搞定自注意力机制（Self-Attention）
markconca的博客
10-25 2万+
1 Self-Attention的概念2 Self-Attention的原理3 Self-Attention的作用4 Self-Attention的问题。
self-attention机制
Abraham Ben
08-28 7357
传统的CNN得弱点在于一般都是读取局部信息，而没有考虑整个全局的信息。此时如果使用很大的kernel size一次覆盖掉所有的输入。但是弱点有: 在机器翻译中的输入长度不定。 这种情况下的kernel参数量非常多，容易overfitting。 self-attention就是一种可以考虑全局信息的机制。相关论文为: attention is all you need self-attention可以和CNN和FC结合使用。 self-attention计算方法如下: 计算a1a^1a1与其他输入的相
详解Self-attention与Transformer1
08-03
Self-attention机制是Transformer模型的核心组成部分，Transformer是由Google在2017年提出的，主要用于解决自然语言处理（NLP）中的序列建模问题。它的主要创新在于使用自注意力层代替了传统的循环神经网络（RNN）和...
linear-attention-transformer:基于关注变量的变压器，该变量在序列长度方面具有线性复杂性
03-31
$ pip install linear-attention-transformer 用法 语言模型 import torch from linear_attention_transformer import LinearAttentionTransformerLM model = LinearAttentionTransformerLM ( num_tokens = 20000 ,...
self-attention-cv:专注于计算机视觉的各种自我关注机制的实现。 进行中的资料库
03-05
通过pip安装$ pip install self-attention-cv 如果您没有GPU，最好在您的环境中预安装pytorch。相关文章程式码范例多头注意力import torchfrom self_attention_cv import MultiHeadSelfAttentionmodel = ...
Python-大规模transformer语言模型包括BERT
08-10
Ongoing research training transformer language models at scale, including: BERT
计算机领域热知识【1】Transformer与attention
kullollo的博客
06-24 2658
。Transformer的通用性与易训性使得其在自然语言处理领域大方异彩。自2017年提出以来，近5年来大量NLP领域的创新均是基于transformer进行的，例如我们熟知的BERT，GPT2等，均取得良好的实验效果。本篇博客介绍transformer的结构，并提出自己对模型结构的看法。...
【原创】深入浅出Attention和Transformer
suvedo的博客
11-04 5014
本文介绍attention机制和基于attention的transformer模型。网上关于这两者的博客很多，但大都照搬论文，千篇一律，不够深入和通俗，本文在参考这些博客和原始论文的基础上，加入自己的理解，深入且通俗的讲解attention和transformer。 Attention in RNN Bengio等人在2014年Neural machine translation by jointly learning to align and translate中提出Attention机制。 传统的RNN
注意力机制（attention mechanism）与 Transformer
xw555666的博客
01-02 2946
灵长类动物的视觉系统接收了大量的感官输入，这些感官输入远远超出了大脑能够完全处理的能力。然而，并非所有刺激的影响都是同等的。意识的汇聚和专注使灵长类动物能够在复杂的视觉环境中将注意力引向感兴趣的物体，例如猎物和天敌。整个人类历史中，这种只将注意力引向感兴趣的一小部分信息的能力，使人类的大脑能够更明智地分配资源来生存、成长和社交，例如发现天敌、寻找食物和伴侣。自主性的与非自主性的注意力提示解释了人类的注意力的方式，下面来看看如何通过这两种注意力提示，用神经网络来设计注意力机制的框架和模型。
从Attention到Bert——3 BERT解读
weiyaner的博客
03-28 1841
文章目录Bert介绍Bert模型结构1 与GPT，ELMO结构对比2 Bert的输入3 Bert的输出Bert两大预训练任务MLM, NSP1 CV的预训练任务2 Masked language model, MLM 掩码语言模型3 Next sentence predict，NSP，上下文预测模型Bert四大下游任务Finetune1 分类2 序列标注总结1 优点2 缺点 Bert介绍 BERT的全称是Bidirectional Encoder Representation from Transform
Self-Attention机制的计算详解
qq_41915623的博客
06-07 1万+
​ 个人理解，就是对参数进行“加权求和”。​ 其中，XXX表示输入的数据，Q,K,VQ,K,VQ,K,V对应内容如图，其值都是通过XXX和超参（先初始化，后通过训练优化）进行矩阵运算得来的。​ 结合代码进行理解：Step1： 初始化WQ,WK,WVW^Q , W^K,W^VWQ,WK,WV矩阵 ​ 假设三种操作的输入都是同等维度的矩阵，这里每个特征维度都是768.即三者的维度： WQ.shape=[768,768]WK.shape=[768,768]WV.shape=[768,768] W^Q.sh
Transformer self-attention
09-24
Transformer self-attention是Transformer模型中的一种注意力机制。它通过计算输入序列中每个位置的注意力权重，将序列中的每个元素与其他位置的元素进行加权组合。相比于传统的RNN模型，self-attention可以考虑到...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值