【BERT】Transformer理论详解（一）

已于 2022-02-18 12:18:46 修改
阅读量1.4k 收藏 13
点赞数 3
分类专栏： 自然语言处理 文章标签： transformer bert 深度学习
于 2021-04-13 12:33:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40633696/article/details/115657367
版权

目录

 

一、概述

二、Transformer和RNN 

1. Transformer要做什么事？

2. 传统的RNN网络和Transformer

3. 传统的word2vec

三、Transformer

1. Attention

1.1 self-attention是什么

1.2 self-attention如何计算

1.3 每个词的Attention计算

1.4 Attention整体计算流程

2. multi-headed机制

2.1 multi-headed机制图解（1）

2.2 multi-headed机制图解（2）

2.3 multi-headed结果

3. encoder堆叠多层

4. 位置信息表达——Positional Encoding

5. Add与Normalize

5.1 Layer Normalization

5.2 Layer Normalization 和 Batch Normalization 对比

5.3 连接：基本的残差连接方式

5.4 Encoder整体架构

6. Decoder

7. 最终输出结果

8. 整体梳理

9. 效果展示

四、BERT

1. BERT训练的词向量有什么不同

2. BERT名词解释

3. 如何训练BERT

一、概述

Bert——自然语言处理通用解决方案

  • 需要熟悉word2vec，RNN网络模型，了解词向量如何建模
  • 重点在于Transformer网络架构，BERT训练方法，实际应用
  • 开源项目，都是现成的，套用进去就OK
  • 提供预训练模型，基本任务拿过来直接用即可

二、Transformer和RNN 

1. Transformer要做什么事？

  • 基本组成依旧是机器翻译模型中常见的Seq2Seq网络
  • 输入输出都很直观，其核心架构就是中间的网络设计了

2. 传统的RNN网络和Transformer

  • 计算时有什么问题？ 

不能并行计算

  • Self-Attention机制来进行并行计算，在输入和输出都相同
  • 输出结果是同时被计算出来的，现在基本已经取代RNN了

3. 传统的word2vec

  • 表示向量时有什么问题？答：预训练好的向量就永久不变了
  • 如果‘干哈那’是一个词，不同语境中相同的词表达的含义不同

三、Transformer

  • 输入如何编码？
  • 输出结果是什么？
  • Attention的目的？
  • 怎样组合在一起？

1. Attention

  • 对于输入的数据，你的关注点是什么？
  • 如何才能让计算机关注到这些有价值的信息？

1.1 self-attention是什么

1.2 self-attention如何计算

  • 输入经过编码后得到的向量
  • 想得到当前词与上下文的关系，可以当作是加权
  • 构建三个矩阵分别来查询当前词跟其他词的关系，以及特征向量的表达

三个需要训练的矩阵

  • Q: query，要去查询的
  • K: key，等着被查的
  • V: value，实际的特征信息

q与k的内积表示有多匹配

  • 输入两个词向量得到一个数值

  • 得到的数值经过softmax就是最终上下文结果
  • Scaled Dot-Product Attention，不能让分值随着向量维度的增大而增加

softmax回忆：

1.3 每个词的Attention计算

每个词的Q会跟整个序列中每一个K计算得分，然后基于得分再分配特征（乘V矩阵）

1.4 Attention整体计算流程

  • 每个词的Q会跟每一个K计算得分
  • Softmax后就得到整个加权结果
  • 此时每个词看的不只是它前面的序列，而是整个输入序列
  • 同一时间计算出所有词的表示结果（矩阵乘法）

例：一个句子中第一个词的q和其他词的k相乘并经过softmax的结果分别为0.13，0.21，0.53，0.13，则第一个词的self-attention（z1） = 0.13v1 + 0.21v2 + 0.53v3 + 0.13v4

2. multi-headed机制

  • 一组q,k,v得到了一组当前词的特征表达
  • 类似卷积神经网络中的filter，能不能提取多种特征呢？
  • 卷积中的特征图：

  • 通过不同的head得到多个特征表达
  • 将所有特征拼接在一起
  • 可以通过再一层全连接来降维

2.1 multi-headed机制图解（1）

2.2 multi-headed机制图解（2）

例：以两个head为例，将上面Scaled Dot-Product Attention中的q拆分为q1和q2（WQ拆分为WQ1和WQ2，WQ1*X=q1，WQ2*X=q2）。qi,1必须和ki,1或kj,1相乘最后乘以vi,1或vj,1，qi,2必须和ki,2或kj,2相乘最后乘以vi,2或vj,2。

也就是说，一句话中某个词的第1个head的q必须和其他词第1个head的k相乘，不能第1个head的q和其他词第2个head的k相乘。

2.3 multi-headed结果

  • 不同的注意力结果
  • 得到的特征向量表达也不相同

3. encoder堆叠多层

  • 一层是不够的，多层为了提取高维特征
  • 每层计算方法都是相同的

4. 位置信息表达——Positional Encoding

在self-attention中每个词都会考虑整个序列的加权，所以其出现位置并不会对结果产生什么影响，相当于放哪都无所谓，但是这跟实际就有些不符合了，我们希望模型能对位置有额外的认识。

Positional Encoding 公式

i 代表的是当前的维度，pos 代表的是当前的位置。

例：词向量维度为128，pos=3 即第3个词的 Positional Encoding：

5. Add与Normalize

5.1 Layer Normalization

归一化：让某一层的均值为0，标准差为1

5.2 Layer Normalization 和 Batch Normalization 对比

5.3 连接：基本的残差连接方式

5.4 Encoder整体架构

6. Decoder

  • Attention计算不同
  • 加入了MASK机制

7. 最终输出结果

  • 得出最终预测结果
  • 损失函数 cross-entropy即可

8. 整体梳理

  • Self-Attention
  • Multi-Head
  • 多层堆叠，Positional Encoding
  • 并行加速训练

9. 效果展示

两个句子中，it 和 animal 、street 的self- attention 值最大，即 it 分别指代 animal 和 street

四、BERT

1. BERT训练的词向量有什么不同

这里的词向量值 encoder 最终的输出 r 矩阵

  • 在word2vec中，相同词对应的向量训练好后就固定了
  • 但在不同的场景中，‘干哈呢’的意思会相同吗？
  • encoder和decoder都叫transformer

2. BERT名词解释

  • Bidirectional Encoder Representations from Transformers
  • 说白了就是transformer的encoder部分
  • 并不需要标签，有语料就能训练了

3. 如何训练BERT

方法1：

  1. 句子中有15%的词汇被随机mask掉
  2. 交给模型去预测被mask的家伙到底是什么
  3. 词语的可能性太多了，中文一般是字
  4. 如果BERT训练的向量好，那分类自然OK

方法2：

  1. 预测两个句子是否应该连在一起
  2. [seq]：两个句子之前的连接符，[cls]：表示要做分类的向量

猎猎长风
关注
  • 3
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Bert详解.pptx
06-15
本课件是对论文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 的导读与NLP领域经典预训练模型 Bert 的详解，通过介绍NLP领域对通用语言模型的需求，引入 Bert 模型，并对其架构进行宏观微观的解读，然后详细介绍 Bert 每预训练阶段采用的两个任务，以及常见的微调下游任务场景。最后通过可视化的方式，给出 Bert 在向量表征上的优势所在。
Transformer模型-add & norm（残差连接&归一化）的简明介绍：残差连接，增加深度，不丢失初始的特征；归一化，避免梯度消失，减少运算
Ankie资深技术项目经理
04-07 787
add&norm在transformer的每个子层都出现： add增加残差连接，可以增加深度，不丢失初始的特征。 norm归一化，因为把原始的特征加回来，避免梯度消失，减少运算，进行归一化处理。
大模型面试准备（十二）：深入剖析Transformer - 残差连接和层归一化
2401_84033492的博客
04-06 1046
本文全面概述了Transformer的残差连接和层归一化。残差连接解决了深度网络退化问题，确保信息畅通；层归一化稳定输出分布，解决梯度问题，提升训练稳定性。两者结合使Transformer在自然语言处理中表现卓越。
老板向我请教Transformer的原理，我没讲清
发狂的小花的博客
01-09 1018
Transformer基本原理 Transformer核心组件详解 输入输出处理及训练技巧 Transformer在各领域应用举例 性能评估与对比分析
Transformer的残差连接
qq_42890800的博客
12-21 1万+
在学习Transformer的过程中，编码器和解码器都用到了残差连接，下面我总结一下残差连接。 假如我们的输入为X，要得到的输出为H(X)。那么我们可以通过 H = F(X) + X，转换为学习F。等得到F的输出后，在此基础上加上X即可得H的输出。 在Transformer中，此时的F即是下图中的Multi-Head Attention和Feed Forward，我们再加上X即可得到需要的输出。下图中的Add & Norm中的Add即为此意。Norm的意思就是在后面跟了一个归一化层。论文原文中的公式
Transformer - 基础分析与实现
西小庄村高伟 的博客
11-03 1744
从零开始分析和实现transformer模型
Transformer（二）—— ResNet（残差网络）
深浅卡布星的博客
09-11 1111
统计学中的。
Bert系列之 Transformer详解
lq_fly_pig的博客
09-22 4001
Bert整体的模型结构使用的是Transformer的Encode模块 进行层次叠加，唯一的不同点是位置编码position embedding 使用的是随机初始化矩阵，没有使用的是三角函数，transformer中的位置编码使用的是 三角函数 一.Transformer模型结构 二. ...
Transformer & Bert.zip
06-17
Transformer +Bert 视频+资料详解
BERT原理详解
06-18
本课程详细介绍了BERT网络中的Attention机制、transformer网络结构、训练任务以及相关的算法原理。
基于BERT的机器翻译模型开发详解.pdf
08-09
- 模型构建:使用预训练BERT作为Encoder,Transformer为Decoder。加入Attention层。 - 模型训练:Adam优化器。调整超参数,保存最佳模型。 - 翻译推断:输入源文本,生成目标翻译。Beam Search产生多个候选。 - 模型部署:...
Python自然语言处理-BERT实战
10-26
通俗讲解BERT模型中所涉及的核心知识点（Transformer,self-attention等），基于google开源BERT项目从零开始讲解如何搭建自然语言处理通用框架，通过debug源码详细解读其中每一核心代码模块的功能与作用。最后基于...
关于Transformer、BERT的理解
gailj
01-17 9081
结合李宏毅老师机器学习2021——Transformer课程和网上查阅的资料，总结一下对Transformer的理解 Transformer是什么？ 从宏观角度来看，Transformer是一种基于Self-Attention机制的Seq2seq模型（序列模型），由编码器和解码器组成（自己总结的）。所以在学习Transformer前，需要先弄明白Seq2seq、编码器 / 解码器、Self-Attention（见本人之前的csdn博客）是什么。 Seq2seq模型： 这是一个序列到序列的模型，输入一个序列
Transformer、Bert、Gpt对比系列，超详细介绍transformer的原理，bert和gpt的区别
L_goodboy的博客
05-23 1万+
Transformer、Bert、Gpt对比系列，超详细介绍transformer的原理，bert和gpt的区别；Transformer、Bert、Gpt对比系列，超详细介绍transformer的原理，bert和gpt的区别
Transformer里layer-normlization与残差连接
qq_41657873的博客
10-25 2347
1.当我们使用梯度下降法做优化时，随着网络深度的增加，数据的分布会不断发生变化,为了保证数据特征分布的稳定性，我们加入Layer Normalization，这样可以加速模型的收敛速度 Normalization有很多种，但是它们都有一个共同的目的，那就是把输入转化成均值为 0 方差为1的数据。我们在把数据送入激活函数之前进行normalization(归一化)，因为我们不希望输入数据落在激活函数的饱和区，发生梯度消失的问题，使得我们的模型训练变得困难 BN的主要思想是: 在每一层的每一批数据(一个batc
Transformer残差连接机制解析
最新发布
禅与计算机程序设计艺术
04-10 336
Transformer模型是由Google在2017年提出的一种革新性的序列到序列（seq2seq）模型，主要用于自然语言处理任务，如机器翻译和问答系统。它主要通过自注意力机制取代了循环神经网络（RNN）中的递归结构，极大地提升了计算效率，并且能够并行化处理序列，大幅减少了训练时间。然而，这种自注意力结构也带来了训练过程中梯度消失和爆炸的问题。为了解决这个问题，Transformer引入了**残差连接（Residual Connection）**这一关键组件，使得模型能够在保持深度的同时稳定训练。
Pytorch——BERT 预训练模型及文本分类（情感分类）
热门推荐
ASS-ASH的博客
11-02 2万+
BERT 预训练模型及文本分类 介绍 如果你关注自然语言处理技术的发展，那你一定听说过 BERT，它的诞生对自然语言处理领域具有着里程碑式的意义。本次试验将介绍 BERT 的模型结构，以及将其应用于文本分类实践。 知识点 语言模型和词向量 BERT 结构详解 BERT 文本分类 BERT全称为 Bidirectional Encoder Representations from Transformer，是谷歌在 2018 年 10 月发布的语言表示模型。BERT 通过维基百科和书籍语料组成的庞.
对Transformer中Add&Norm层的理解
一步一脚印
10-09 1万+
首先我们还是先来回顾一下Transformer的结构：Transformer结构主要分为两大部分，一是Encoder层结构，另一个则是Decoder层结构，Encoder 的输入由 Input Embedding 和 Positional Embedding 求和输入Multi-Head-Attention，再通过Feed Forward进行输出。
transformer代码详解
07-27
Transformer模型是一种广泛应用于各个领域的模型，包括BERT和GPT等。它具有丰富的适用性。Transformer模型的基本原理是通过编码器和解码器来实现输入序列到输出序列的转换。在PyTorch中，可以使用以下代码实现一个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值