NLP从入门到放弃的transformer 的笔记总结

已于 2023-05-09 12:46:22 修改
阅读量717 收藏 6
点赞数 1
文章标签： 深度学习 python 机器学习 transformer 神经网络
于 2022-10-30 17:09:46 首次发布
原文链接：cnblogs.com/nickchen121/p/16470569.html#tid-3Ha4P7
版权

NLP从入门到放弃的transformer 的笔记总结

目录

NLP从入门到放弃的transformer 的笔记总结

1、位置编码

2、多头注意力机制

3、残差和layerNorm

4、前馈神经网络

5、TRM面试讲解

encoders包括输入部分、多头注意力机制、残差和LN、前馈神经网络

1）输入部分包括Embedding和位置编码

（1）embedding我的其他文章讲过

（2）位置编码:公式

 2）注意力机制

（1）公式：QKV矩阵

（2）transformer中的注意力

（3）多头注意力 transformer中是8个头

 3)残差和LayerNorm

4)前馈神经网络

必看：整个流程训练和测试是有什么不同？​​​​​​​

Decoder

 为什么 Decoder 需要做 Mask

机器翻译上

我爱你作为输入，经过transformer模型，输出l love you

 左半部分是encoders（里面有N个小encoder）  右半部分是decoders （里面有N个小encoder）

输入：我爱你 经过encoders 将输出的结果作为decoders输入  ，经过decoders得到输出l love you

1、位置编码

2、多头注意力机制

3、残差和layerNorm

4、前馈神经网络

5、TRM面试讲解

encoders包括输入部分、多头注意力机制、残差和LN、前馈神经网络

1）输入部分包括Embedding和位置编码

 Embedding：随机初始化或者word2vec

对于【爱】->embedding->512维的向量【0.1，0.1，0.2,.....0.02】

对于【爱】->位置编码->512维的向量【sin,cos,sin.....cos】

两者相加得到新的512维的向量

（1）embedding我的其他文章讲过

（2）位置编码:公式

 2）注意力机制

（1）公式：QKV矩阵

Attention(Q,K,V)=softmax  (\frac{QK^T}{\sqrt{d_{K}}})V

Q：查询的部分(例如：爱)

K:被查询的部分（K1,K2,K3,K4)（例如：我不爱你）

V：表示K对应的权重

QK^{T}点乘表示Q、K的相似度 。将Q和K1,K2,K3,K4点乘就分别表示Q和K1,K2,K3,K4的相似度 ，哪个结果大，哪个相似度高，哪个就越关注（例如点乘结果：0.1，0.1，0.7，0.1）

(\frac{QK^T}{\sqrt{d_{K}}})V 单纯相乘值很大，当进入softmax后，会趋向两端，不容易做梯度下降

所以要除法运算，选择除以根号d，为了控制方差为一。再将相似度点乘V权重。

（2）transformer中的注意力

                                   经过                   得到

input ：我   爱   <embedding>       词向量：x1，x2

q1=x1*w^Q    q2=x2*w^Q

k1=x1*W^{K}   k2=x2*W^{K}

v1=x1*W^{V}    v2=x2*W^{V}

W权重只有这三个且已知 

（3）多头注意力 transformer中是8个头

8个头用8个w^Q W^{K}W^{V}

 3)残差和LayerNorm

（1）残差 （下图 右侧）：避免梯度消失

 （2）LN

BN 对不同样本的同一特征维度处理

优点：可以解决内部协变量偏移

缓解了梯度饱和问题（如果使用sigmoid激活函数的话），加快收敛

缺点：batch_size比较小的时候， 小样本去模拟全部效果差

rnn中效果差，rnn是动态的，有时不能求样本中的均值方差

 LN对一个样本的所i有维度做处理

 

 左侧是BN 右侧是LN

4)前馈神经网络

两个全连接层

必看：整个流程训练和测试是有什么不同？

 

 ​​​​​​​

 

 

Decoder

 为什么 Decoder 需要做 Mask

  • 训练阶段：我们知道 “je suis etudiant” 的翻译结果为 “I am a student”，我们把 “I am a student” 的 Embedding 输入到 Decoders 里面，翻译第一个词 “I” 时

    • 如果对 “I am a student” attention 计算不做 mask，“am，a，student” 对 “I” 的翻译将会有一定的贡献
    • 如果对 “I am a student” attention 计算做 mask，“am，a，student” 对 “I” 的翻译将没有贡献

  • 测试阶段：我们不知道 “我爱中国” 的翻译结果为 “I love China”，我们只能随机初始化一个 Embedding 输入到 Decoders 里面，翻译第一个词 “I” 时：

    • 无论是否做 mask，“love，China” 对 “I” 的翻译都不会产生贡献
    • 但是翻译了第一个词 “I” 后，随机初始化的 Embedding 有了 “I” 的 Embedding，也就是说在翻译第二词 “love” 的时候，“I” 的 Embedding 将有一定的贡献，但是 “China” 对 “love” 的翻译毫无贡献，随之翻译的进行，已经翻译的结果将会对下一个要翻译的词都会有一定的贡献，这就和做了 mask 的训练阶段做到了一种匹配

总结下就是：Decoder 做 Mask，是为了让训练阶段和测试阶段行为一致，不会出现间隙，避免过拟合。

假设训练模型的某一个阶段，我们来结合 Transformer 的完整框架描述下这个动态的流程图：

  1. 输入 “je suis etudiant” 到 Encoders，然后得到一个 KeKe、VeVe 矩阵；
  2. 输入 “I am a student” 到 Decoders ，首先通过 Masked Multi-head Attention 层得到 “I am a student” 的 attention 值 QdQd，然后用 attention 值 QdQd 和 Encoders 的输出 KeKe、VeVe 矩阵进行 attention 计算，得到第 1 个输出 “I”；
  3. 输入 “I am a student” 到 Decoders ，首先通过 Masked Multi-head Attention 层得到 “I am a student” 的 attention 值 QdQd，然后用 attention 值 QdQd 和 Encoders 的输出 KeKe、VeVe 矩阵进行 attention 计算，得到第 2 个输出 “am”；
  4. ……
  5. 参考预训练语言模型的前世今生 - 从Word Embedding到BERT - 二十三岁的有德

Queen_sy
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
深度学习：其中包含我的深度学习课程的入门笔记本
03-03
2. 构建模型：选择合适的神经网络架构，如卷积神经网络（CNN）用于图像处理，循环神经网络（RNN）用于序列数据，或者Transformer用于自然语言处理。 3. 训练模型：使用反向传播算法和优化器（如梯度下降、Adam）...
python，机器学习笔记，machine learning，nlp.zip
02-21
Python是当今数据科学和人工智能领域最广泛使用的编程语言之一，尤其在机器学习和自然语言处理（NLP）方面，它的库和框架为开发者提供了强大的工具。这篇笔记将深入探讨这两个主题，帮助读者理解和掌握相关技术。 ...
Transformer [全网最详细的Transformer讲解]
weixin_68191319的博客
02-26 3885
结合李宏毅老师以及各个大佬讲解，全网最全版本！
【深度学习】(4) Transformer 中的 Decoder 机制，附Pytorch完整代码
博观而约取，厚积而薄发
06-29 3597
大家好，今天和各位分享一下 Transformer 中的 Decoder 部分涉及到的知识点：计算 self-attention 时用到的两种 mask。本文是对前两篇文章的补充，强烈建议大家先看一下：1.《Transformer代码复现》：https://blog.csdn.net/dgvv4/article/details/1254916932.《Transformer中的Encoder机制》：https://blog.csdn.net/dgvv4/article/details/125507206本节
自然语言处理(NLP)入门——Transformer详解(1)
one time one step的博客
03-31 549
Transformer的背景: 2017年发表的的Transformer论文 2018年出现 优势: Transformer能够利用分布式GPU进行并行训练，提升模型训练效率. 在分析预测更长的文本时, 捕捉间隔较长的语义关联效果更好. attention机制的使用. Transformer结构解析 输入部分 源语言的文本嵌入层 + 位置编码器 目标语言的文本嵌入层 + 位置编码器 编码器部分 编码器是有N个编码器层组成 编码器层是由两个子层连接结构构成 第一个子层连.
神经网络基础：前馈网络、激活函数、损失函数等
qq_33578950的博客
04-03 1556
神经网络是深度学习中最基础也是最重要的模型之一。在神经网络中，前馈网络、激活函数和损失函数都是非常关键的概念。本文将详细介绍这三个要点的原理，并提供代码实例展示它们的实际应用。
【transformer】|基础知识
qq_35608277的博客
06-25 1354
transformer基础知识 Transformer网络结构： 如图所示，是Transformer的整体网络结构，主要是由编码器和解码器两部分组成。如图3是编码器和解码器的详细网络结构，编码器由两部分组成自注意力和前馈神经网络层， 输入 首先通过Word2Vec等词嵌入方法将输入语料转化成特征向量。以512为例。 编码器 自注意力层 从编码器输入的句子首先会经过一个自注意力（self-attention）层，这层帮助编码器在对每个单词编码时关注输入句子的其他单词。我们将在稍后的文章中更深入地研究自注意力
Transformer详解+Transformer李沫视频笔记
qq_55736201的博客
11-11 673
为什么除以根号dk：dk小的时候除不除都无所谓，大的时候会导致点积后矩阵中的值差距比较大，然后通过softmax函数，接近一的值就会更加接近1，其余会更加接近0，值向两端靠拢，梯度变小，跑不动（softmax函数会使大的更大小的更小，如果值向两端靠拢非常接近0和1了，那么相当于网络收敛了，梯度就变小了）预测时候需要利用训练时候batch的均值和方差来计算预测时候的均值和方差，假如碰到特别长的样本，那么之前算的均值和方差就不好用了，所以在变长的应用中不使用batchnorm。
Transformer中的注意力机制及代码
weixin_45671036的博客
04-07 3387
transformer注意力机制实现过程整理。
天池零基础入门NLP-新闻文本分类比赛代码分享.zip
09-30
【标题】"天池零基础入门NLP-新闻文本分类比赛代码分享.zip"是一个针对新手的自然语言处理（NLP）教程，通过参加新闻文本分类的比赛来实践学习。这个压缩包可能包含了一个完整的项目结构，涵盖了从数据预处理、模型...
台湾大学林轩田机器学习笔记.zip
05-22
此外，还涉及了用于图像识别的AlexNet、VGG、ResNet等经典模型，以及用于自然语言处理的Transformer架构。 笔记中还包含了深度学习的优化算法，如梯度下降、动量法、RMSprop和Adam优化器。损失函数的选择，如均方...
Deep Learning学习笔记doc完全版
08-17
这些网络在处理序列数据，如自然语言处理（NLP）和时间序列预测上具有优势。 第四和第五部分可能进一步探讨了深度学习的其他重要主题，比如深度强化学习（DQN）、自编码器（Autoencoder）、生成对抗网络（GAN）等。...
Transformer详解
热门推荐
qq_52302919的博客
12-29 6万+
近期Transformer MLP系列模型的出现，增加了CV领域的多样性。但是Transformer这一不同领域的模型对学习者来说需要一个细致的学习过程.下面就是本菜鸟总结学习路线。
如何理解attention中的Q、K、V
m0_51474171的博客
10-28 8853
Q:QueryK:KeyV:Value其实是三个矩阵，矩阵如果表示为LxD，L是句子中词的个数，D是嵌入维度，在自注意力机制里，QKV是表示同一个句子的矩阵，否则KV一般是来自一个句子，而Q来自其他句子可以通过这三个线性变换query，key，value得到我们想要的QKV，其中三个变换的输入都是768维，输出都是768维将该矩阵输入上面的三个线性转换，就可以得到三个矩阵KQV，，维度其实没有改变。
Transformer中的encoder和decoder在训练和推理过程中究竟是如何工作的
qq_42599237的博客
03-09 2万+
Transformer中的encoder和decoder在训练和推理过程中究竟是如何工作的苦苦冲浪，找不到答案Transformer结构（随便冲浪均可查到）Transformer推理过程Transformer训练过程 苦苦冲浪，找不到答案 之前学习transformer的时候就不是很理解encoder和decoder在训练和推理过程中是如何工作的，四处查询也没有讲的很详细，很多文章和视频都是encoder讲很多，到了decoder就一带而过了，后来在b站看了大佬讲解的transformer源码，终于明白了e
NLP从入门到放弃_IBM Model1
cpyy103的博客
03-05 2454
IBM Model1 IBM Model 是统计机器翻译中的经典翻译模型 IBM Model1仅考虑了词和词之间的互译概率 学习lecture-ibm-model1的过程 理解 外来句子， foreign sentence f=(f1,...flf)f=(f_1,...f_{l_f})f=(f1​,...flf​​)，长度为lfl_flf​ 英文句子， english sentence e=(e...
NLP 学习秘笈，从入门到进阶 | 书单
CSDN人工智能
12-25 2393
自然语言处理（NLP）作为人工智能研究的核心领域之一，长久以来都受到广泛关注。微软全球执行副总裁沈向洋博士曾表示“懂语言者得天下，人工智能对人类影响最为深刻的就是自然语言方面。”现在很多研究人员都在进入自然语言领域，希望可以解决“让机器理解人类语言”这一难题。为了帮助大家更好地学习NLP，微软亚洲研究院自然语言计算组资深研究员韦福如为大家推荐了一些关于自然语言学习方面经典的书籍和课程，分为入门级和进阶
一份从入门到精通NLP的完整指南 ｜ NLPer
TensorFlowNews
08-03 6401
该小博主介绍本人：笔名zenRRan，方向自然语言处理，方法主要是深度学习。未来的目标：人工智能之自然语言处理博士。写公众号目的：将知识变成开源，让每个渴求知识而难以入门...
RNN与CNN：昔日辉煌与今日应用的深度透视
最新发布
AI心易行者
07-17 505
更棒的是，其活跃的社区和详尽的手册，确保了你在技术海洋中的航行既高效又愉快。2017年，Transformers以自注意力机制打破了RNN的垄断，其并行计算的特性极大地提升了处理序列数据的效率，Google神经机器翻译系统（GNMT）的成功应用，便是最好的证明。紧随其后的BERT（2018年），凭借双向编码器的创新，以及强大的预训练与微调策略，使得机器对文本的理解上升到了新的高度。LeNet-5的诞生，标志着手写数字识别的新纪元，而这一技术的广泛应用，更是推动了图像分类、物体检测等领域的巨大进步。
TransformER
02-28
TransformER是一个基于Transformer模型的实体关系抽取器。它是由CSDN开发的C知道团队开发的，旨在从文本中自动提取实体和它们之间的关系。 Transformer是一种基于自注意力机制的神经网络模型，它在自然语言处理任务中取得了很大的成功。TransformER利用Transformer模型的强大表达能力，能够对输入文本进行编码，并学习到实体之间的关系。 TransformER的工作流程如下： 1. 输入文本预处理：将输入文本进行分词、词性标注等预处理操作。 2. 实体识别：使用命名实体识别技术，识别出文本中的实体，如人名、地名、组织机构等。 3. 关系抽取：通过Transformer模型对输入文本进行编码，学习到实体之间的关系。 4. 输出结果：将抽取到的实体和关系进行整理和展示。 TransformER在许多实际应用中具有广泛的应用，如信息抽取、问答系统、知识图谱构建等。它能够帮助用户从大量文本中快速准确地提取出有用的信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值