Transformer中Multi-Head的理解

已于 2022-06-24 10:44:21 修改
阅读量1.7k 收藏 4
点赞数 4
分类专栏： 日拱一卒 文章标签： transformer 深度学习 人工智能
于 2022-05-26 19:41:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31878083/article/details/124984621
版权

Transformer中Multi-Head的理解
论文是这么说的：
attention is all you need

Multi-head attention allows the model to jointly attend to information from different representation subspaces at different positions.

大概意思就是： 多头注意力允许模型在不同位置共同关注来自不同表示子空间的信息，也就是可以让网络捕捉更丰富的信息。

问题： 那为什么有了多头注意力机制就可以关注不同的特征？原理是什么？是不是头越多就越好呢？

一 直观说说
先直观说说对多头注意力机制的理解，
在这里插入图片描述
上面这张图片，如果我们让10个同学去看这张图，大家的关注点肯定不在一个地方，有的同学更关注羊群，有些同学更关注云朵，还有些关注草坪。那我们集成所有同学的关注点可能就会很好的描述这张图片；反过来如果只有1个同学去看的话，他一分钟可能关注的羊群，下一分钟可能关注的草坪。。。可能10分钟才能把图片所有信息看完。

所以与其让1个同学看10分钟，那为啥不能让10个同学看一分钟呢？那从这个角度讲，其实就类似于集成学习，多个弱分类器的效果>一个强分类器的效果。

二 self-attention内理解
1. 如果理解了self-attention里面的W，Q，V矩阵，那多头无非就是多个W，Q，V矩阵，并且每个矩阵初始化参数是不同的；
在这里插入图片描述

  1. 那既然初始化的参数不同，但损失结果是一样的，在反向求参的时候肯定会导致每个W，Q，V的参数矩阵不同，所以W，Q，V也会是不同的权重矩阵

三 理解总结

  1. 大量实验表明： Transformer，或Bert的特定层是有独特的功能的，底层更偏向于关注语法，顶层更偏向于关注语义；
  2. 这篇论文讨论了多头的作用，发现并不是头越多越好，去掉一些头效果依然有不错的效果（而且效果下降可能是因为参数量下降），这是因为在头足够的情况下，这些头已经能够有关注位置信息、关注语法信息、关注罕见词的能力了，再多一些头，无非是一种 enhance 或 noise
DataAlgo
关注
  • 4
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
图解Transformer模型(Multi-Head Attention)
black_shuang的博客
07-10 1万+
本文内容主要源于Attention is all you need:https://arxiv.org/abs/1706.03762 由于本人最近在研究文本的判别式模型,如文本分类任务,所以学习了Transformer,并根据自己的理解制作了PPT介绍总结Transformer中几个比较重要的部分. 文章内容为本人制作的PPT，同时在需要解释的slide写上了补充说明; 主要内容包括 1...
Transformer之multi-head
wangyifan123456zz的博客
02-29 493
当我们对“it”这个词进行编码时，一个注意力头主要关注“animal”，而另一个注意力头主要关注“tired”——从某种意义上说，模型对“it”这个词的表征融合了“动物”和“累”的一些表征。我意识到这是相当多的矩阵。既然我们已经触及了注意头，让我们回顾一下之前的例子，看看当我们在例句中对单词 “it” 进行编码时，不同的注意头集中在哪里。如果我们做同样的 self-attention 计算，只是8次不同的权重矩阵，我们最终会得到8个不同的Z矩阵。我们连接矩阵，然后将它们乘以一个附加的权重矩阵WO。
Transformer系列专题（二）——multi-headed多头注意力机制
最新发布
weixin_73044854的博客
05-23 1066
在实践中，当给定相同的查询、键和值的集合时，我们希望模型可以基于相同的注意力机制学习到不同的行为，然后将不同的行为作为知识组合起来，例如捕获序列内各种范围的依赖关系（例如，短距离依赖和长距离依赖）。因此，允许注意力机制组合使用查询、键和值的不同的 子空间表示（representation subspaces）可能是有益的。
transformer-multihead 代码
qxdoit的博客
07-02 606
import tensorflow as tf import numpy as np ''' inputs 是一个形如(batch_size,seq_len,word_dim) 的向量 函数返回 一个形如(batch_size,seq_len,position_size) 的位置向量 ''' def Position_Embedding(inputs,position_siz...
Transformer多头怎么理解？
简单记录生活、学习
09-27 1万+
可以类似于CNN中利用多个卷积核分别提取不同特征（https://mapengsen.blog.csdn.net/article/details/120512095）的作用，直观上讲，多头的注意力有助于网络捕捉到更丰富的特征/信息。 论文中是这么说的： Multi-head attention allows the model to jointly attend to information from different representation subspaces at different pos
Transformer--Multi-headed机制
qq_37217876的博客
01-02 477
在Transformer中一组q，k，v可以得到一种当前词在句中的表达，那么多组就能得到多种表达，从而得到更为精确的词表达
Transfomer矩阵维度分析及MultiHead详解
muyuu的博客
03-21 3040
目录参数量各结构解析训练阶段Encoder Multihead Attention 解读Transformer就离不开下面这张图： 不同于之前的基于rnn的seq2seq模型，Transfomer完全摒弃了循环神经网络的结构： encoder层： {多头自注意力 + 前馈网络} ×n\times n×n decoder层： {掩蔽多头自注意力 + encoder-decoder多头自注意力 + 前馈网络} ×n\times n×n 下面我们介绍Transformer模型中的参数变化情况： 参数量 对于
bert multi-head selection
11-01
标题中的“BERT Multi-Head Selection”指的是BERT模型中多头注意力机制的应用，这在自然语言处理（NLP）领域是一个重要的技术。BERT，全称为Bidirectional Encoder Representations from Transformers，是由Google...
实现了一下multi-head-selection联合关系实体抽取
01-18
“multi-head-selection”是一种借鉴了Transformer架构中的多头注意力机制（Multi-Head Attention）的思想，用于处理复杂任务的模型。在NLP中，多头注意力允许模型并行地关注输入序列的不同方面，从而捕获更丰富的...
multi-head-self-attention的Pytorch版本快速实现
01-08
在自然语言处理（NLP）领域，Transformer架构的引入是一个重要的里程碑，而多头自注意力（Multi-Head Self-Attention，MHA）是Transformer的核心组件。PyTorch作为一个灵活且强大的深度学习框架，为实现这样的复杂...
transformer-xl-master_xl_transformer_
09-29
2. **多头自注意力机制（Multi-Head Self-Attention）**：允许模型同时关注输入的不同方面，每个头可以学习不同的上下文信息。 3. **段落嵌入（Segment Embeddings）**：存储了前一序列段的信息，用于在新序列段开始...
transformer-from-scratch
03-19
三、多头注意力（Multi-Head Attention） 单个自注意力层可能无法捕获所有类型的依赖关系，因此Transformer采用了多头注意力。在多头注意力中，输入会被线性变换为多个不同的查询、键和值向量，然后分别进行自注意...
关于multi-head的 一点思考
Airstudy的博客
07-05 2138
Google于2017年提出了Transformer，而提出该模型的论文名为《Attention is all you need》，之前翻译该论文的时候并没有太多注意attention，更多的放在了整体的模型结构上。最近面试了一个候选人，他介绍项目用到的AOA时，提到了从“横向”和“纵向”两个维度做softmax，突然让我对Transformer中的multi-head attention有了新的求知欲（虽然这两个事情联系不大，但的确对之前不在意的细节产生了好奇）。 从文章名可以看出attention在Tr
multi-head多头机制
CSDNXXCQ的博客
01-29 1671
目的:使网络捕捉到更丰富的特征/信息。 流程 1通过不同的head得到多个特征表达，比如self-attention中的矩阵Q*K的内积然后得出的特征 2将所有的特征拼接到一起 比如self-attention中的Z=A/(A+B+C)*V1+B/(A+B+C)*V2+C/(A+B+C)*V3 3再通过一层全连接层实现降维(softmax,relu) 计算: 目的获取X1,X2与Z1的关系(偏向X1),获取X1,X2与Z1的关系(偏向X2) 然后再进行一次self-attention分别得出特征r1与特征r
详解Transformer中Self-Attention以及Multi-Head Attention
热门推荐
霹雳吧啦Wz
06-11 12万+
原文名称：Attention Is All You Need 原文链接：https://arxiv.org/abs/1706.03762 最近Transformer在CV领域很火，Transformer是2017年Google在Computation and Language上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完tit_iti​时刻后的数据才能计算ti+1t_{i+1}ti+1​时刻的数据，但Transformer可以）。在这篇文章中作者提出了S
【Transformer】multi-head self-attention 多头自注意力机制
m0_51579041的博客
05-02 733
【Transformer】multi-head self-attention 多头自注意力机制
Multi-Head Attention的讲解
qq_41980734的博客
10-19 9986
Multi-Head Attention的讲解 一、什么是 Attention Attention机制最早是在视觉图像领域提出来的，应该是在九几年思想就提出来了，但是真正火起来应该算是2014年google mind团队的这篇论文《Recurrent Models of Visual Attention》，他们在RNN模型上使用了attention机制来进行图像分类。2017年，google机器翻译团队发表的《Attention is all you need》中大量使用了自注意力（self-attenti
Multi-head整理—为什么 Transformer 需要进行 Multi-head Attention？
咕噜咕噜
10-13 4399
一.Attention is all you need论文中讲模型分为多个头，形成多个子空间，每个头关注不同方面的信息。 如果Multi-Head作用是关注句子的不同方面，那么不同的head就应该关注不同的Token；当然也有可能是关注的pattern相同，但是关注的内容不同，即V不同。 但是大量的paper表明，transformer或Bert的特定层有独特的功能，...
transformer中的multi-head的作用
06-10
Transformer中的multi-head self-attention模块是将输入的序列进行注意力计算时，将输入的特征向量进行分组，每组特征向量都做一次self-attention操作，最后将多个结果拼接起来，得到一个更全面的注意力表示。这样做的好处是，可以使得模型能够更好地捕捉序列中的长程依赖关系，同时也可以使得模型更加稳定，减少过拟合的风险。另外，多头注意力还可以并行计算，使得模型能够更快地训练和推理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值