在transformer中，mask_fill掩码中为什么把0替换成-1e9这么小的一个数

最新推荐文章于 2023-08-02 16:09:48 发布
最新推荐文章于 2023-08-02 16:09:48 发布
阅读量631 收藏
点赞数
分类专栏： nlp面试题整理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34595138/article/details/112408883
版权

mask主要为了将未来的数据替换成0
核心在于mask后的值要送入softmax中，0对应的softmax值为1，-1e9的值对应的softmax值才能接近于0，如下图：
softmax的方程式：（具体参考详细介绍：https://zhuanlan.zhihu.com/p/105722023）
在这里插入图片描述
在这里插入图片描述

qq_34595138
关注
专栏目录
『NLP学习笔记』如何理解Transformer中的Q,K,V以及Mask[补充深度学习中的FLOPs是什么？如何计算]
AI新视界
10-12 819
如何理解Transformer中的Q,K,V以及Mask FLOPS(注意全大写)，是floating point operations per second的缩写，意指 每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。
【nlp】3.3 Transformer论文复现：2. 编码器部分（掩码张量、多头注意力机制、前馈全连接层）
最新发布
lys_828的博客
11-24 1774
对Transformer架构中的掩码张量、多头注意力机制、前馈全连接层进行内容的讲解已经代码复现
Transformer中数据维度的变化和mask
qq_38356492的博客
01-13 3746
会用到的一些函数 nn.Embedding()和padding_idx a = torch.LongTensor([0,1,2,3,4]) emb = nn.Embedding(10,5,padding_idx=0) emb(a) ## output: # tensor([[ 0.0000, 0.0000, 0.0000, 0.0000, 0.0000], # [ 1.2378, 0.2666, 0.3143, -0.4785, -0.0261], # [ 0.
在transformer中，mask_fill掩码中为什么把0替换成-1e9
qq_43703185的博客
09-27 1028
mask主要为了将看不见的词向量，也即未来的数据替换成0，避免看见要预测的值 核心在于mask后的值要送入softmax中，0对应的softmax值为1，-1e9的值对应的softmax值才能接近于0
masked_fill【将mask中值为True的位置对应的待填充的张量设置为value值】
MOL
01-09 7785
masked_fill方法有两个参数，maske和value，mask是一个pytorch张量（Tensor），元素是布尔值，value是要填充的值，填充规则是mask中取值为True位置对应于待填充的相应位置用value填充。 import torch a=torch.tensor([[[5,5,5,5], [6,6,6,6], [7,7,7,7]], [[1,1,1,1],[2,2,2,2],[3,3,3,3]]]) print(a) print(a.size()) print("#########
PyTorch中的masked_select、masked_fill_()、 masked_fill()的区别
岁月如歌
02-15 2241
PyTorch中的masked_select、masked_fill_()、 masked_fill()的区别
模块十：mask模块
weixin_49346755的博客
01-17 3423
mask模块主要用于创建图像surface的遮罩，也称蒙版。用Mask对象来表示，常常用于来检测物体之间是否发生碰撞。mask模块的主要方法如下： # 从给定的surface的不透明像素创建一个mask对象 # 如果使用了颜色键，则所有等于color_key的像素都会被设置，不等于color_key的像素不会被设置 # 如果没有使用颜色键，则使用每个像素的alpha值来决定设置结果掩码中的哪些位，alpha大于thresh的值会被设置 mask1 = pygame.mask.from_surface(ima
Transformer-基础
love1005lin的博客
10-13 1188
Positional Encodding 位置编码的作用 是为模型提供当前时间步的前后出现顺序的信息。因为 Transformer不像RNN那样的循环结构有前后不同时间步输入间天然的先后顺序，所有的时间步是同时 输入，并行推理的，因此在时间步的特征中融合进位置编码的信息是合理的。 思考:为什么上面的公式可以作为位置编码? 我的理解:在上面公式的定义下，时间步p和时间步p+k的位置编码的内积，即 是与p无 关，只与k有关的定值(不妨自行证明下试试)。也就是说，任意两个相距k个时间步的位置编码向量的 内积都是相
[算法前沿]--022-Pytorch从0编写Transformer算法
06-26 860
到目前为止，我们逐行实现了一个完整的Transformer，并使用合成的数据对其进行了训练和预测，希望这个教程能对你有帮助。
从零实现深度学习框架——Transformer从菜鸟到高手(一)
日积月累，天道酬勤
08-02 2201
图解Transformer理论+自己动手实现Transformer！
pytorch masked_fill方法简单理解
jianyingyao7658的博客
12-04 3万+
>>> help(torch.Tensor.masked_fill) Help on method_descriptor: masked_fill(...) masked_fill(mask, value) -> Tensor Out-of-place version of :meth:`torch.Tensor.masked_fill_` >>...
transformer掩码
未名方略
01-13 5151
mask
pytorch mask_filled用法
热门推荐
candy134834的博客
11-28 3万+
 #将 mask必须是一个 ByteTensor 而且shape必须和 a一样 并且元素只能是 0或者1 ，是将 mask中为1的 元素所在的索引，在a中相同的的索引处替换为 value  ,mask value必须同为tensor  a=torch.tensor([1,0,2,3])     # a.masked_fill(mask = torch.ByteTensor([1,1,0,0]),...
torch.tensor的fill_(value)使用举例
敲代码的小风
12-30 7509
参考链接: fill_(value) → Tensor 实验代码展示: Microsoft Windows [版本 10.0.18363.1256] (c) 2019 Microsoft Corporation。保留所有权利。 C:\Users\chenxuqi>conda activate ssd4pytorch1_2_0 (ssd4pytorch1_2_0) C:\Users\chenxuqi>python Python 3.7.7 (default, May 6 2020, 11:
Pytorch中的masked_fill()函数
weixin_44737266的博客
05-07 4790
masked_fill()函数 主要用在transformer的attention机制中，在时序任务中，主要是用来mask掉当前时刻后面时刻的序列信息。此时的mask主要实现时序上的mask。 >>>a=torch.tensor([1,0,2,3]) >>>a.masked_fill(mask = torch.ByteTensor([1,1,0,0]), value=torch.tensor(-1e9)) >>>a >>>tenso
白话清晰讲解神经网络，适合想搞清神经网络本质的学者--神经网络之softmax(1)
石头的博客
05-09 1117
通过对本系列的学习，你可以全面的了解softmax的来龙去脉。如果你尚不了解神经网络，通过本系列的学习，你也可以学到神经网络反向传播的基本原理。学完本系列，基本神经网络原理就算式入门了，毕竟神经网络基本的网络类型就那几种，很多变种，有一通百通的特点。
机器学习笔记（一）
方脸大公鸡的博客
08-02 1104
机器学习笔记（一）
masked_fill_() - masked_fill() - v1.5.0
既然选择了远方 便只顾风雨兼程 - 永强
06-25 5181
masked_fill_() - masked_fill() - v1.5.0 torch.Tensor https://pytorch.org/docs/stable/tensors.html torch.Tensor.masked_fill (Python method, in torch.Tensor) torch.Tensor.masked_fill_ (Python method, in torch.Tensor) masked_fill_(mask, value) - 函数名后面加下划线。i
MaskUtil.mask()；的作用
lq18804095672的博客
08-21 1039
看代码发现了，MaskUtil.mask();不知道什么意思，了解了下，做个博客笔记。 总之大概是这个意思： 加载时遮罩，加载完毕后，取消遮罩。就是在请求加载数据时，有个等待的过程，然后将页面置灰，使产品更人性化。 // 上传文件 function fileUpload_EditPCCase() { 。。。。 $.ajax({ url: "/AEFI/PCCase/FileUploadNew", type: "POST"
Swin-Transformer网络在手写数字识别中的应用与迁移学习
资源摘要信息:"该文档提供了关于一个基于Swin-Transformer网络的手写阿拉伯数字0-9图像识别检测分类项目的详细信息，项目中融入了迁移学习技术，并提供了数据集和训练好的权重文件。Swin-Transformer是一种基于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值