transformer学习之Mask

已于 2022-04-09 10:20:03 修改
阅读量1.7k 收藏 6
点赞数 2
分类专栏： NLP 文章标签： transformer 自然语言处理 深度学习
于 2022-01-01 22:57:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44833392/article/details/122272074
版权
NLP 专栏收录该内容
89 篇文章 47 订阅 ¥29.90 ¥99.00
订阅专栏

文章目录

参考见 ➡️ NLP 中的Mask全解

题目

transformer学习之Mask

mask作用

直译：面具

在Transformer中mask的作用有两个：

  • 处理输入中序列长度不等的问题
  • 防止模型在预测时提前知道未来的信息

mask处理非定长问题

在NLP领域中，一篇文章往往是由短则几百长则几万个句子构成的，每一个句子的长度不尽相同，所以在处理的时候会显得格外麻烦，因为在模型训练时需要将这些单词进行预处理，变成相同的词维度，而对于不等长的单词数不管在计算上还是后续理解上都增加了非常大的困难。

而一般常见的处理的方法是用某些数填平这些坑坑洼洼的洞，使其规整到一个方形盒子中。

如下图&#x

了解本专栏 订阅专栏 解锁全文
365JHWZGo
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
算法面试之transformer的Mask和并行性
持续战斗状态的博客
04-05 1985
1.Mask 掩码 由于在实现多头注意力时需要考虑到各种情况下的掩码，因此在这里需要先对这部分内容进行介绍。在Transformer中，主要有两个地方会用到掩码这一机制。 第1个地方就是Attention Mask，用于在训练过程中解码的时候掩盖掉当前时刻之后的信息； 第2个地方便是对一个batch中不同长度的序列在Padding到相同长度后，对Padding部分的信息进行掩盖。 padding mask 在所有的 scaled dot-product attention 里面都需要用到，而 sequenc
深度学习模型涨点注意力卷积模块，创新点
02-03
同时，与其他attention模块相比，利用local与global的相似性作为attention mask的generation source，可进行较强语义表示信息。 2. A 2 Attention 作者提出的A 2-Net的核心思想是首先将整个空间的关键特征收集到一...
Transformer 两种mask简介
weixin_48185819的博客
07-21 6728
Mask 有两种，Padding-mask，用于处理不定长输入 另一种是 seqence-mask，为了防止未来信息不被泄露 padding mask - 处理输入不定长 在 NLP 中，一个常见的问题是输入序列长度不等，一般来说我们会对一个 batch 内的句子进行 PAD，通常值为 0。 sequence mask - 防止未来信息泄露 在语言模型中，常常需要从上一个词预测下一个词，sequence mask 是为了使得 decoder 不能看见未来的信息。也就是对于一个序列，在 ..
mask
03-29
面具 项目设置 npm install 编译和热重装以进行开发 npm run serve 编译并最小化生产 npm run build 运行测试 npm run test 整理和修复文件 npm run lint 自定义配置 请参阅。
Transformer学习
04-13
学习Transformer的初学者适合，通俗易懂
为什么Transformer解码层需要用mask？
ZHVEH
09-09 654
关于Transformer的mask问题。
Transformer 中的mask
To be a better man
05-24 6938
简单聊聊transformer里的mask ——转载自链接一 1.padding mask 在encoder和decoder两个模块里都有padding mask，位置是在softmax之前，为什么要使用padding mask，是因为由于encoder和decoder两个模块都会有各自相应的输入，但是输入的句子长度是不一样的，计算attention score会出现偏差，为了保证句子的长度一样所以需要进行填充，但是用0填充的位置的信息是完全没有意义的（多余的），经过softmax操作也会有对应的输..
【深度学习】Transformer中的mask机制超详细讲解
Blog
06-13 1万+
Transformer中的mask机制超详细讲解 方法1 输出如下： 方法2 输出如下 decoder中的masked自注意力中的mask 方法1 输出如下 方法2 输出如下 decoder交叉注意力中的mask 方法1 输出如下 方法2 输出如下
Transformer详解(1)---原理部分
orangerfun的博客
03-02 2473
为了[BERT详解(3)—源码解读[预训练模型]]部分的文章完整性，先在此占个坑，以后填上
Transformer 中 Mask 的那些事
AI研究院
06-11 834
具体来说，最有效的修改是 N-gram mask 和相似的单词替换，这是对 mask 的语言模型任务的修改。令人惊讶的是，我们发现 40% 的遮蔽概率的输入序列可以优于 15% 的基线，通过对下游任务的微调来衡量可以发现，甚至遮蔽 80% 的字符也可以保留大部分性能。huggingface 中 data allcator 使用的是动态 mask，但不是复制数据，而是每一个 epoch 的 mask 策略都不同，这样就可以达到动态 mask 的效果了，从而使得每一个 epoch 的 mask 的情况都不同。
CSWin Transformer
08-20
具体来说，它在没有任何额外训练数据或标签的情况下，在 ImageNet-1K 分类任务上达到了 85.4% Top-1 准确率，在 COCO 检测任务上达到了 53.9 box AP 和 46.4 mask AP，在 ADE20K 语义分割任务上达到了 51.7 mIOU，均...
基于Swin-Transformer和Unet 自适应多尺度训练、多类别分割、迁移学习：医学图像子宫颈细胞核分割
最新发布
04-25
基于Swin-Transformer和Unet 项目、自适应多尺度训练、多类别分割、迁移学习：子宫颈细胞核分割（2类别分割） 项目介绍：总大小200MB 网络仅仅训练了50个epochs，全局像素点的准确度达到0.92，miou为0.767。训练...
基于Swin-Transformer和Unet 分割项目、自适应多尺度训练、多类别分割、迁移学习：遥感道路二值分割项目
03-27
基于Swin-Transformer和Unet 项目、自适应多尺度训练、多类别分割、迁移学习：遥感道路二值分割项目 项目介绍：总大小431MB 本项目数据集：感道路二值分割项目 网络仅仅训练了300个epochs，全局像素点的准确度达到...
基于Swin-Transformer和Unet 项目、自适应多尺度训练、多类别分割：腹部多脏器5类别分割数据集
03-26
基于Swin-Transformer和Unet 项目、自适应多尺度训练、多类别分割：腹部多脏器5类别分割数据集 项目介绍：总大小234MB 本项目数据集：腹部多脏器5类别分割数据集 网络仅仅训练了300个epochs，全局像素点的准确度...
Mask属性介绍
TF_guo的博客
06-25 3305
Mask属性介绍 Mask平时用的最多的是masksToBounds 吧. 其实除此以外Mask使用场景很多,看完之后你会发现好真是好用的不要不要的... 先来了解下Mask属性到底是什么? Mask 英文解释是蒙板/面罩,平时我们称为蒙层. 在苹果官方文档里如下图,意思是Mask是一个可选的Layer,它可以是根据透明度来掩盖Layer的内容.  这么一说好像..
浅析深度学习中的mask操作
热门推荐
guofei_fly的博客
02-26 4万+
mask（掩码、掩膜）是深度学习中的常见操作。简单而言，其相当于在原始张量上盖上一层掩膜，从而屏蔽或选择一些特定元素，因此常用于构建张量的过滤器（见下图）。 按照上述定义，非线性激活函数Relu（根据输出的正负区间进行简单粗暴的二分）、dropout机制（根据概率进行二分）都可以理解为泛化的mask操作。 从任务适应性上，mask在图像和自然语言处理中都广为应用，其应用包括但不局限于：图像兴趣区...
浅析mask操作
weixin_51355600的博客
07-14 695
mask（掩码、掩膜）是深度学习中的常见操作。简单而言，其相当于在原始张量上盖上一层掩膜，从而屏蔽或选择一些特定元素，因此常用于构建张量的过滤器。mask在图像和自然语言处理中都广为应用，但在这里仅做一个较为基础的尝试，可代替for循环与if条件判断遍历数组并完成对数组的处理。通过该方法完成对数组的操作仅在条件满足时（True）执行，在数据量大时避免对逐个数据进行遍历判断后再操作，提升代码效率。如：有一个一维数组[1, 2, 3, 4, 5, 6, 7, 8, 9]，我们希望数组内小于5的值重新赋值为0。
计算机网络mask是什么意思,mask是什么意思
weixin_33335559的博客
06-17 1万+
你知道mask是什么意思吗?可能你在网络上偶尔会看到这样的词，但网络上的新词多到数不清，根本没有时间去仔细去了解，下面就让我们带你一起，来详细了解一下mask是什么意思吧。mask是什么意思⒈ 假面具;伪装;遮蔽物All guests wore masks to the ball.所有客人都戴假面具参加舞会。⒉ 防护面具;口罩The nurse wore a gauge mask.护士戴着薄纱口罩...
Mask Transformer
10-20
Mask Transformer是一种基于Transformer结构的预训练模型，它在预训练阶段使用了mask技术，即在输入序列中随机mask掉一些token，然后让模型预测这些被mask掉的token。这个过程可以帮助模型学习到更好的语言表示，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

365JHWZGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值