DATAWHALE-动手学深度学习PyTorch 笔记记录2 attention mask

最新推荐文章于 2024-07-13 22:57:00 发布
最新推荐文章于 2024-07-13 22:57:00 发布
阅读量979 收藏 1
点赞数
分类专栏： Deep Learning python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43246794/article/details/104376588
版权
本文介绍了在深度学习中处理Attention机制时如何应用mask处理pad，特别是在使用PyTorch时，强调了在计算注意力得分后，需要对与pad相关的分数进行屏蔽。通过代码示例展示了如何根据序列长度对二维张量进行mask操作，以便正确处理不同样本间的有效序列长度差异。
摘要由CSDN通过智能技术生成

【Attention中mask pad的weight的做法】
在attention中，对attention score进行softmax时，需要考虑到query与pad计算得到的score应该忽略。我们在处理时可以先正常地用高维tensor形式将所有score计算出来，然后根据key的句长将pad所在位置的weight进行mask掉。
下面的代码实现了给定二维tensor X，根据X_len将X中指定位置替换为value值。

def SequenceMask(X, X_len,value=-1e6):
    maxlen = X.size(1)
    mask =
最低0.47元/天 解锁文章
安琪已经 了
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PyTorch笔记 - Attention Is All You Need (4)
Mystra
08-05 676
PyTorch中，CrossEntropy的输入，期望Class放在第2维，Batch放在第1维，可以是类别索引(Class indices)，也可以是类别的概率(Probabilities for each class)。reduction默认是mean，例如6个单词的平均交叉熵。reduction是none，默认交叉熵：先做softmax，再做-ln(prob)，每个rand之前，都需要添加。......
PyTorch笔记 - Attention Is All You Need (2)
Mystra
08-01 285
Encoder作为KV、Decoder作为Q构建WordEmbedding；没有局部假设，需要位置假设，即PositionEncoding；序列长度不一致，需要Mask对齐MaskedMulti-HeadAttention，序列本身的关联性，自回归模型，保证OutputEmbedding输入不包含未来信息、、...
超平实版Pytorch Self-Attention: 参数详解(尤其是mask)(使用nn.MultiheadAttention)
热门推荐
狗狗狗大王的博客
06-17 4万+
目录Self-Attention的结构图forward输入中的query、key、valueforward的输出实例化一个nn.MultiheadAttention进行forward操作关于maskReference Self-Attention的结构图 本文侧重于Pytorch中对self-attention的具体实践，具体原理不作大量说明，self-attention的具体结构请参照下图。 (图中为输出第二项attention output的情况,k与q为key、query的缩写) 本文中将使用Pyt
Transformer模型：Encoder的self-attention mask实现
最新发布
weixin_62472350的博客
07-13 1024
这是对Transformer模型的Word Embedding、Postion Embedding内容的续篇。
关于深度网络自学习attention mask的随笔
WinerChopin的博客
01-18 1616
Attention 的出发点是学习一个 scale ，对深度网络的中间特征做线性激活，即： 对特征中有利于目标任务（如正确分类）的部分作增强（a>1a>1a>1），对特征中不利于或无关目标任务的部分做抑制（a<1a<1a<1） 基于CAM（Class Activation Mapping）的注意力机制 借助一个辅助分类器，在 [conv]* -> ...
Attention中的Mask: query mask, key mask, future mask
weixin_40901056的博客
07-27 9143
Attention简介 Attention是2015年被提出来的，在NLP领域大放光彩。Attention具有在繁多信息中自动focus到重点的能力，而且Attention可以实现并行，一定程度上可以替代LSTM等循环神经网络，提高模型效率。Attention的具体介绍可以参考Attention总结。 根据上面的Attention总结，Attention可以看作是 QKV 模型，假设输入为 q，（...
pytorch中attention的两种实现方式
wi162yyxq的博客
12-18 2万+
class AttnDecoderRNN(nn.Module): def __init__(self, hidden_size, output_size, dropout_p=0.1, max_length=MAX_LENGTH): super(AttnDecoderRNN, self).__init__() self.hidden_size = hi...
PyTorch笔记 - Attention Is All You Need (3)
Mystra
08-05 393
Transformer难点细节实现，6点：Word Embedding、Position Embedding、Encoder Self-Attention Mask、Intra-Attention Mask、Decoder Self-Attention Mask、Multi-Head Self-Attention
Transformer and Self-Attention(Pytorch实现)
aidanmo的博客
11-22 2950
文章目录1. Attention2. Self-Attention3. Multi-Head Attention4. Transformer4.1 Encoder4.2 Decoder5. Transformer6. 补充，masked_self_attentioncode by Tae Hwan Jung(Jeff Jung) @graykode, Derek Miller @dmmiller612 1. Attention Attention函数的本质可以描述为：将查询(query)和一组键值(key-
attention_mask矩阵应用
tyler的博客
03-18 3012
import torch attention_mask = [[1,0,0], [1,1,0], [1,1,1]] attention_mask = torch.tensor(attention_mask) slot_logits = [[1,2,3], [4,5,6], ...
机器翻译模型四attention+pack pad sequence+mask+bleu__Pytorch实现
weixin_38544305的博客
04-15 1224
讲解pad与mask的作用并应用于attention中，同时可视化权重系数矩阵以及进行BLEU评价指标计算
Pytorch：Attention理解和代码实现
m0_63997099的博客
04-27 2598
文章目录一、Attention原理核心点1、Self-Attentiona.核心原始形态b.self-Attention使用相同的矩阵是否可行？2、常见的注意力机制1. 自注意力机制（Self-Attention）2. 多头注意力（Multi-Head Attention）3. 序列到序列的注意力（Seq2Seq Attention）4. 点积注意力（Dot-Product Attention）5. 加性注意力（Additive Attention）或串联注意力（Concat Attention）6. 卷积
pytorch中如何给网络添加mask
ygfrancois的博客
05-10 1821
深度学习中，我们经常会遇到需要添加mask的场景，如： nlp中为了长度对齐，需要补齐长度，但在计算attention时会将补齐位置mask掉从而不参与attention计算； mask相关的预训练任务，如MLM、MAE等，需要mask掉被遮盖的token，以完成预测的预训练任务； 计算loss时想忽略掉一些不想用来计算该loss的样本。 nlp bert中常见的mask补齐位置的方法为： 将mask位置的mask设置为一个很小的数，如-10000， # 将attention_mask设置
多图详解attention和mask。从循环神经网络、transformer到GPT2
qq_56591814的博客
08-17 9394
transformaer原理 文章目录transformaer原理1.1 NLP任务分类：2. 图解Attention2.1 seq2seq2.2 循环神经网络的不足：2.3 attention的引出（建议加精，一定要看）2.4 从机器翻译推广到attention的一般模式（有空补）2.5 attention模型的改进形式2.6 self-attention2.6.2计算 Self Attention ：2.6.3使用矩阵计算 Self-Attention3.多头注意力机制（multi-head atten
BERT模型中的input_ids和attention_mask参数
python_plus的博客
02-20 3544
介绍了BERT模型中的input_ids和attention_mask参数的含义和使用方法
【动手学习pytorch笔记】33.Attention实现
ymk1998的博客
04-16 4405
Attention实现 import math import torch from torch import nn from d2l import torch as d2l 带掩码的softmax 有些query是不应该看到后面的key的 #@save def masked_softmax(X, valid_lens): """通过在最后一个轴上掩蔽元素来执行softmax操作""" # X:3D张量，valid_lens:1D或2D张量 if valid_lens is None
pytorch笔记：09)RNN和Transform中的Attention机制
Javis486的专栏
01-11 2万+
原博客是哈佛大学NLP研究组，根据论文“Attention is All You Need” 使用pytorch实现，撰写得非常精彩，强烈推荐。下面是几个笔者阅读时困惑的地方，记录下来以防忘记。 原文中给的一个简单的栗子，给定一个序列，模拟生成同一的序列。 We can begin by trying out a simple copy-task. Given a random set of i...
"《动手学深度学习pytorch》windows10环境安装全记录
总结：本文主要介绍了在Windows 10环境下搭建深度学习环境的具体步骤，包括安装miniconda、CUDA和cuDNN，创建和激活环境，安装pytorch、d2l包和pandas，以及运行Jupyter Notebook进行测试。通过按照上述步骤进行配置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值