Bert基础(二)--多头注意力

已于 2024-02-20 16:10:15 修改
阅读量1.2k 收藏 11
点赞数 25
分类专栏： NLP Transformer+BERT学习攻略+任务代码实战 文章标签： bert 人工智能 机器学习
于 2024-02-20 16:08:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Andy_shenzl/article/details/136191980
版权
本文深入探讨Bert中的多头注意力机制，解释其如何通过计算多个注意力矩阵来增强模型的理解能力。通过举例说明，展示了多头注意力如何在模糊语境中提高注意力的准确性，为后续的序列学习打下基础。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

多头注意力

顾名思义，多头注意力是指我们可以使用多个注意力头，而不是只用一个。也就是说，我们可以应用在上篇中学习的计算注意力矩阵Z的方法，来求得多个注意力矩阵。让我们通过一个例子来理解多头注意力层的作用。以All is well这句话为例，假设我们需要计算well的自注意力值。在计算相似度分数后，我们得到图所示的结果。

在这里插入图片描述
从图中可以看出，well的自注意力值是分数加权的值向量之和，并且它实际上是由All主导的。也就是说，将All的值向量乘以0.6，而well的值向量只乘以了0.4。这意味着 z w e l l z_{we

了解本专栏 订阅专栏 解锁全文 超级会员免费看
BERT模型中的多头注意力机制解读
AI天才研究院
04-05 911
BERT模型中的多头注意力机制解读 作者：禅与计算机程序设计艺术 1. 背景介绍 自 2018 年 BERT 模型发布以来，这种基于注意力机制的语言模型在自然语言处理领域掀起了一股热潮。BERT 模型凭借其出色的性能和通用性,已经成为当前自然语言处理领域的标准模型之一。其中
bert系列模型区别（bert-base-cased/bert-base-uncased/bert-base-chinese)
Cachel Wood的博客
09-23 1412
是一种预训练的语言模型，由Google开发并于2018年发布。BERT的目标是通过将大量无标注的文本数据进行预训练，来学习通用的语言表示。预训练阶段使用了和。在MLM任务中，BERT会随机遮盖输入文本中的一些单词，并通过上下文中的其他单词来预测这些被遮盖的单词。这个任务可以帮助BERT学习到对上下文信息敏感的单词表示。在NSP任务中，BERT会接收两个句子作为输入，并预测这两个句子是否是连续的。这个任务可以帮助BERT学习到对句子级别的上下文信息进行建模。通过这两个任务的预训练，BERT。
一张图等于 16x16 个字，计算机视觉也用上 Transformer 了
idol24的博客
10-17 1484
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！凯隐 AI科技大本营（rgznai100）Transformer是由谷歌于2017年提出的具有里...
NLP学习之：BERT代码复现（3）self-attention 和 MultiHead 多头注意机制
qq_42902997的博客
10-23 1334
【代码】NLP学习之：BERT代码复现（3）self-attention 和 MultiHead 多头注意机制。
bert性能优化之——用另一种方式整合多头注意力
zenRRan的博客
07-09 1116
作者：邱震宇（华泰证券股份有限公司 算法工程师）知乎专栏：我的ai之路今天我想给大家介绍这样一篇论文：Multi-Head Attention: Collaborate Instead ...
BERT模型中的多头注意力机制详解
m0_73697499的博客
11-18 772
在深度学习领域，特别是自然语言处理（NLP）中，Transformer模型因其卓越的性能而广受关注。其中，多头注意力机制是Transformer模型的核心组成部分之一。本文将深入探讨BERT模型中多头注意力机制的实现细节，帮助读者更好地理解和应用这一关键技术。多头注意力机制的基本思想是将输入张量投影到多个不同的子空间中，在每个子空间中独立计算注意力权重，然后将这些子空间的结果合并起来。这种机制使得模型能够在不同的抽象层次上捕获信息，从而提高了模型的性能。
BERT中的多头注意力机制-为什么需要多头？
u012374012的专栏
01-23 392
多头注意力机制通过并行处理多个子空间的信息，提高了模型的学习能力和灵活性。虽然它的计算量看似更大，但实际操作中可以通过硬件加速等方式有效管理。相比之下，直接使用一个大矩阵进行统一计算可能会限制模型捕捉多样化的信息能力。如果你需要具体的代码示例来理解多头注意力机制的具体实现细节，我可以为你提供一个简化版的PyTorch实现。
bert-base-chinese (pytorch版本预训练模型)
02-12
每个编码器层都包含多头注意力机制，允许模型同时考虑多个位置的信息。模型的隐藏状态维度为768，而每个自注意力头的维度为64。此外，它有12个自我注意的头部，总参数量约为1亿。 **应用范围** BERT-base-Chinese...
【Pytorch】BERT+LSTM+多头自注意力（文本分类）
热门推荐
weixin_42419611的博客
02-25 2万+
【Pytorch】BERT+LSTM+多头自注意力（文本分类） 2018年Google提出了BERT[1]（Bidirectional Encoder Representations from Transformers）预训练模型，刷新了11项NLP任务的精度，在NLP领域掀起一波预训练（pre-training）模型热潮。通过对BERT、RoBERTa、GPT等预训练模型微调（fine-tuning）或者作为文本的特征提取器进行迁移学习成为当时直到现在最流行的情感分析方法。
深入探索多头注意力机制：深度学习的关键创新
qlkaicx的博客
05-17 2262
它首次在2017年的论文《Attention is All You Need》中被提出，此论文同时引入了Transformer模型，该模型和它的变体如BERT和GPT系列已经彻底改变了NLP的领域。通过并行地使用多个注意力“头”，多头注意力机制能够让模型在不同的子空间中学习到数据的不同表示，从而捕获信息的多个方面。最后，所有头的输出被拼接并再次线性变换，以生成最终的输出。多头注意力机制的核心思想是将注意力层分裂成多个头（head），每个头独立地进行学习和输出，然后将这些输出合并。
多头注意力机制
qq_51691366的博客
10-08 1万+
从多头注意力的结构图中，貌似这个所谓的多个头就是指多组线性变换，但是并不是，只使用了一组线性变换层，即三个变换张量对 Q、K、V 分别进行线性变换，这些变化不会改变原有张量的尺寸，因此每个变换矩阵都是方阵，得到输出结果后，多头的作用才开始显现，每一个头开始从词义层面分割输出的张量，也就是每一个头都先获得一组 Q、K、V进行注意力机制的计算，但是句子中的每个词的表示只获得一部分，也就是只分割了最后一维的词嵌入向量，这就是所谓的多头，将每个头获取的输入送到注意力机制中就形成了多头注意力机制。
信息抽取（四）【NLP论文复现】Multi-head Selection和Deep Biaffine Attention在关系抽取中的实现和效果
weixin_45839693的博客
12-15 7141
Multi-head Selection和Deep Biaffine Attention在关系抽取中的应用前言Multi-head Selection一、Joint entity recognition and relation extraction as a multi-head selection problem二、BERT-Based Multi-Head Selection for Joint Entity-Relation Extraction三、实现方法和模型代码展示Deep Biaffine
注意力机制：多头注意力（MultiHeadAttention+缩放点积注意力(scaled dot-product attention)代码详细实现+手动绘制的MultiHeadAttention网络
weixin_41686431的博客
03-19 2690
最终输出的形状:(batch_size*num_heads,查询或者“键－值”对的个数, num_hiddens/num_heads)# 输出X的形状:(batch_size，num_heads，查询或者“键－值”对的个数, num_hiddens/num_heads)# 输出X的形状:(batch_size，查询或者“键－值”对的个数，num_heads，num_hiddens/num_heads)# valid_lens的形状：（batch_size, ）或者（batch_size, 查询的个数）
BERT or Transformer中，MHSA中为什么要分多个Head？
Xu_Wave
10-01 1021
一道面试题
【深度学习的骨架与脉搏】注意力机制（四）（多头注意力机制）
十二月的猫
04-28 7719
前文，我们介绍了自注意力机制：自注意力的QKV是同源的。同源的好处就是更容易发现序列内部的信息，但是也存在一些可以改进的地方。例如：对于一个待分析的序列矩阵，它存在许多方面的特征。此时我们要用一个参数矩阵Wq、Wk去分析并学习出序列中的这么多特征。由于参数矩阵的维度是有限的，所以一次性学习多特征的信息必然会造成信息学习的模糊性，所以作者又提出了多头注意力机制下图为多头注意力机制模型图：它为注意力机制提供了多个投射子空间的可能。
Bert模型的学习（理论方面）
qq_56350439的博客
01-25 716
一、传统的训练网络： 传统的RNN网络： RNN网络不能并行 传统的word2vec: 预训练好的向量就永久不变了 二、注意力机制： 基本构架图： self-attention:（注意力机制） 相关程度： （利用内积得到相关程度） 利用softmax得到比例： 并且利用Scaled Dot-Product Attention去除了向量维度的影响 Attention整体计算流程： 三、multi-headed机制： 一般来说最多8层 全...
这样图解Transformer应该没人看不懂了吧——多头注意力机制详解
2401_85373691的博客
08-29 5172
这是关于Transformer系列文章的第三篇部分，我们将用自上而下的方式深入探讨Transformer的功能。在前两篇文章中，我们已经了解了Transformer是什么、它的架构以及工作原理。没看过的同学可以点击图片进行查看本文将更进一步，深入剖析Transformer的核心——多头注意力（Multi-head Attention）机制。对自注意力、编码器-解码器注意力、注意力分数与掩码机制进行深度解析！：输入序列关注自身：目标序列关注自身：目标序列关注输入序列。
bert笔记
zh515858237的专栏
05-18 5832
BERT是Bidirectional Encoder Representations from Transformers的缩写。bert其实就是由多层的Transformer Encoder堆叠成的，所谓的Bidirectional其实也就是Transformer中的self-attention机制。或者也可以说是Self-Attention Layer和Layer Normalization的堆叠而成。
自然语言处理之情感分析：BERT：情感分析中的注意力机制
最新发布
zhubeibei168的博客
04-27 557
BERT, 即Bidirectional Encoder Representations from Transformers，是Google于2018年提出的一种基于Transformer的预训练模型。其核心创新在于使用双向的Transformer编码器，这使得模型在处理输入序列时，能够同时考虑上下文信息，从而生成更丰富的语义表示。BERT模型通过其双向的Transformer编码器和自注意力机制，能够生成丰富的语义表示，从而在各种NLP任务中表现出色。
bert-base-chineses配置
03-15
3. **num_attention_heads**: 表示多头注意力机制中的头数。`bert-base-chinese` 设置为 12 头注意力建模。 4. **intermediate_size**: 表示前馈网络 (Feed Forward Network, FNN) 的中间层尺寸。`bert-base-chinese...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Andy_shenzl

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值