【深度学习】transformer之Multi-head Attention

已于 2024-02-03 13:51:27 修改
阅读量213 收藏
点赞数 2
分类专栏： NLP【深度学习】 Transfomer 文章标签： 深度学习 transformer 人工智能
于 2024-02-03 12:49:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50857066/article/details/135928059
版权

Multi-Head Self-Attention（多头自注意）

多头的个数用h表示，一般h = 8, 我们常用使用的是8头自注意力.
在这里插入图片描述
注意：Q、K、V通过线性变换后，变成了三组，这三组是不同的。

如何多头？

在这里插入图片描述
1、对于X，我们将X分成了8块(8头)， 得到Z0-Z7。
2、然后把Z0-Z7拼接起来，再做一次线性变换（改变维度）得到Z。
在这里插入图片描述

作用

机器学习的本质：在做一件事情，非线性变换（把一个看起来不合理的东西，通过某个手段（训练模型），让这个东西变得合理）
非线性变换的本质：改变空间上的位置坐标，任何一个点都可以在维度空间上找到，通过某个手段，让一个不合理的点（位置不合理），变得合理。
在这里插入图片描述

不良人大帅
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
图解Transformer模型(Multi-Head Attention)
black_shuang的博客
07-10 1万+
本文内容主要源于Attention is all you need:https://arxiv.org/abs/1706.03762 由于本人最近在研究文本的判别式模型,如文本分类任务,所以学习了Transformer,并根据自己的理解制作了PPT介绍总结Transformer中几个比较重要的部分. 文章内容为本人制作的PPT，同时在需要解释的slide写上了补充说明; 主要内容包括 1...
Transformer（multi-head attention）
Wywxring98的博客
12-15 1397
文章目录RNN CNN ATTself-attention（K/Q/V）Multi-head Attention顺序问题seq2seq with attentionTransformerTransformer的应用参考文献 RNN CNN ATT RNN ，用来解决seq2seq问题，适用于长序列，问题为难以平行化处理。 CNN，可以通过不同filter（卷积核）进行平行化处理，但是每个token关注的只是附近的token，难以关心长句子全局关系。 ATT， 有非常霸气的文章attention is all
Transformer模型-Multi-Head Attention多头注意力的简明介绍
Ankie资深技术项目经理
04-05 1447
今天介绍transformer模型的Multi-Head Attention多头注意力。通过之前文章，假定我们已经理解了attention；今天我们按顺序来梳理一下整合之后的顺序。
Transformer详解
CQUPT_Wan的博客
10-30 3116
目录 模型结构 Attention 放缩点积Attention（Scaled Dot-Product Attetion） 多头Attention（Multi-Head Attention） Transformer中的Attention 嵌入和Softmax 位置编码 使用Self-Attention的原因 Transformer内部细节 Encoder内部细节 残差网络 E...
详解Transformer中Self-Attention以及Multi-Head Attention
热门推荐
霹雳吧啦Wz
06-11 13万+
原文名称：Attention Is All You Need 原文链接：https://arxiv.org/abs/1706.03762 最近Transformer在CV领域很火，Transformer是2017年Google在Computation and Language上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完tit_iti​时刻后的数据才能计算ti+1t_{i+1}ti+1​时刻的数据，但Transformer可以）。在这篇文章中作者提出了S
【深度学习】Transformer之Masked Multi-Head Attention
qq_50857066的博客
02-03 1382
对应着上面的a和b。
零基础学习Transformer：multi-head self-attention layer and multi-head attention layer
poppy
01-22 1904
Multi-Head Attention Multi-Head Self-Attention 单头self-attention layer就是由单一的self-attention构成。多头self-attention是由多个单头self-attention组成，其具有单独的参数矩阵，互相不共享参数。 在多头self-attention layer中，单头self-attention的输入都是相同的，但是参数矩阵不相同，因此不同的单头self-attention的输出c矩阵也是不相同的。将多个单头self
深度学习之图像分类（十七）-- Transformer中Self-Attention以及Multi-Head Attention详解
木卯_THU的博客
09-08 3863
深度学习之图像分类（十七）Transformer中Self-Attention以及Multi-Head Attention详解 目录深度学习之图像分类（十七）Transformer中Self-Attention以及Multi-Head Attention详解1. 前言2. Self-Attention3. Multi-head Self-Attention3. Positional Encoding 终于来到了 Transformer，从 2013 年分类网络学习到如今最火的 Transformer，真的不
Transformer系列：Multi-Head Attention网络结构和代码解析
2401_85327249的博客
05-31 1063
Self Attention就是自身和自身进行Attention，具体为句子内部的每个字/词之间进行通信，计算出句子中每个字/词和其中一个目标字/词的注意力权重，从而得到目标字/词的embedding表征self attention示意图在Transformer中Self Attention采用Scaled Dot-Product Attention（缩放点积注意力），采用**向量内积计算两两字/词的相似度**，相似度越大注意力权重越大，融合这个词的信息越多。
A Supervised Multi-Head Self-Attention Network for Nested NE.pdf
09-17
具体来说，文章中提到的多头自注意力机制是深度学习中的一个重要概念，特别是基于Transformer架构的技术。这种机制能够让模型同时关注序列中的不同位置，学习不同头之间的相关性，从而捕捉到句子中复杂的关系和结构...
深度学习自然语言处理-Transformer模型.zip
08-29
Transformer模型是深度学习领域中自然语言处理（NLP）的一次重大突破，由Google的研究团队在2017年提出并发表在《Attention is All You Need》论文中。该模型摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）...
multi-head-self-attention的Pytorch版本快速实现
01-08
在提供的`multi-head_self-attention-master`压缩包中，应包含以下文件： - `config.py`：可能包含了模型配置，如隐藏层大小、注意力头的数量等。 - `model.py`：应该有定义多头自注意力层的代码，包括上述步骤的...
深度学习-transformer解读
02-04
### 深度学习-Transformer解读 #### Transformer简介与架构特点 Transformer模型是近年来自然语言处理（NLP）领域的一项重大突破，它摒弃了传统的循环神经网络（RNN）结构，采用了一种全新的机制——自注意力...
深度学习-Transformer实战系列课程
09-23
Transformer模型的核心思想是自注意力（Self-Attention）和多头注意力（Multi-Head Attention）。自注意力允许模型在处理序列数据时同时考虑所有位置的信息，而多头注意力则通过并行计算多个注意力分布，捕捉不同...
深度学习9--目标检测
m0_63860007的博客
08-15 487
假设阈值是0.9,那就忽视所有阈值小于0.9的预测框。AP 是对某一个类检测的好坏，mAP。旁的指示牌和前方的红绿灯颜色。对于自动检测的算法，有两个要求，一个是快， 一个是准。FN 是预测是负样本，预测错了，其实是正样本。目标检测不仅可以检测数字，而且可以检测动物的种类、汽车的。v1模型速度之所以快是因为它的候选框的数量并不多。卷积核的参数，而所需要的数据集就是图片数据和图片标签。模型的收敛速度，也可以起到轻微的正则化的效果，降低模型过拟合。计算，利用两个框的交集面积与并集面积的比值就。
基于LSTM的交通流量预测算法及Python实现
u013571432的博客
08-17 798
LSTM通过其内部的记忆单元和门控机制（遗忘门、输入门、输出门），能够捕获数据中的长期依赖关系，这对于预测未来的交通流量至关重要。然后，细胞状态通过tanh函数进行处理（将其值规范化到-1和1之间），并与sigmoid门的输出相乘，最终得到需要输出的部分。（4）输出门：基于新的细胞状态和(h_{t-1})、(x_t)，计算输出门的sigmoid输出，并据此确定隐藏状态(h_t)。全连接层：在LSTM层之后，通常添加一个或多个全连接层（也称为密集层或线性层），用于将LSTM层的输出映射到最终的预测目标上。
基于RNN的交通流量预测算法及Python实现
u013571432的博客
08-17 931
以下是一个简化的使用TensorFlow和Keras API的RNN（具体可以是简单的RNN单元，但考虑到长期依赖性问题，实践中更常用LSTM或GRU）来实现交通流量预测的示例代码。在实际应用中，需要考虑序列长度、模型复杂度、激活函数、优化算法、正则化和过拟合、并行化和加速以及模型解释性等因素来选择合适的RNN模型和训练策略。优化算法的选择和参数设置对模型的训练效率和收敛速度有很大影响。在实际应用中，您可能还需要对模型进行调优，包括调整RNN层的单元数、层数、优化器参数等，以达到最佳的预测性能。
锂电池剩余寿命预测 | Matlab基于LSTM-Attention的锂电池剩余寿命预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
08-14 591
锂电池剩余寿命预测 | Matlab基于LSTM-Attention的锂电池剩余寿命预测
深度学习1-超参数
最新发布
08-20 605
超参数的调整是机器学习模型优化的重要环节。通过系统地实验和评估不同的超参数组合，能够找到最适合当前任务的模型配置。通常使用交叉验证、网格搜索或随机搜索等方法来自动调整和选择超参数，以提高模型的性能和泛化能力。
Multi-Head Self-Attention与Multi-Head Attention
05-14
Multi-Head Self-Attention和Multi-Head Attention都是Transformer模型中的核心模块。 Multi-Head Self-Attention是指在一个句子中每个单词使用自注意力机制（Self-Attention）来计算其上下文表示。这个过程会将每个单词的原始表示分别映射成多个子空间，并在每个子空间中计算注意力权重，最后将这些子空间的注意力权重加权求和，得到每个单词的上下文表示。这种方式可以捕获单词之间的复杂依赖关系，并且具有可解释性。 Multi-Head Attention是指在一个句子的两个不同部分之间使用注意力机制（Attention）来计算它们之间的关系。这个过程也会将每个单词的原始表示分别映射成多个子空间，并在每个子空间中计算注意力权重，最后将这些子空间的注意力权重加权求和，得到不同部分之间的关系表示。这种方式可以捕获不同部分之间的语义关系，例如句子中的主语和谓语之间的关系。 总的来说，Multi-Head Self-Attention和Multi-Head Attention都是使用多个子空间来计算注意力权重，但是Multi-Head Self-Attention是单向的，只考虑一个句子中的单词之间的关系，而Multi-Head Attention是双向的，可以考虑两个不同的部分之间的关系。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值