自然语言处理（1）：Transformer模型实现原理详解

最新推荐文章于 2024-06-01 22:39:54 发布
最新推荐文章于 2024-06-01 22:39:54 发布
阅读量3.9k 收藏 15
点赞数 4
分类专栏： NLP 文章标签： 机器学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46521785/article/details/109189556
版权

划时代的产物

在2018年，谷歌推出了BERT模型之后，该模型在11项NLP任务中夺得STOA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型最早是用于机器翻译任务，当时达到了STOA效果。

Transformer改进了RNN最被人诟病的训练慢的缺点，利用self-attention机制实现快速并行。并且Transformer可以增加到非常深的深度，充分发掘DNN模型的特性，提升模型准确率。在本文中，我们将研究Transformer模型，把它掰开揉碎，理解它的工作原理。

近期发现，在图像识别领域，Transformer表现出来的效果出乎意料的好，竟然有取代CNN的势头！

传统的解决方案遇到的问题

传统的RNN

  • 传统的RNN有依赖关系，不能实现并行，但是Transformer可以
  • Self-Attention注意力机制来进行并行计算，在输入与输出相同
  • 输出的结果是同时被计算出来的，现在基本已经取代了RNN

模型对比

在这里插入图片描述

传统的word2vec

  • 使用词向量模型，是预先对词语训练好词向量，然后这个向量就不变了，然后去寻找文本中的词，将其转换为词向量，再输入到RNN中网络模型中。

    但是呢，相同的词在不同的语境中，表达的意思可能不同，例如：干哈捏。

  • 使用BERT模型，可以考虑到上下文的影响，在不同的输入当中，对应词向量也就不同了哦。太牛了吧！

如图：两句话中的it就是不同的，指代的意思也不同！

在这里插入图片描述

注意力机制的作用

提取特征的时候，什么是重点，就是去发现你的数据的重点在哪。如下图，我们前面输入了一个序列，当我不强调哪个词重要，我得到的结果可能是平行的。

在这里插入图片描述

但是呢，这个判断过程不是你认为加进去的，是交给计算机，让他去判断的哦！！！

在一句话中，每一个词（中文是字），都会结合上下文判断句子中其余词和自己关系的远近，如图，it中animal就关系影响很大：

在这里插入图片描述

self-attention如何计算

整体流程如下

在这里插入图片描述

①首先将x1、x2两个词进行编码得到向量

在这里插入图片描述

②经过计算得到每个词的三个特征矩阵Q、K、V

在这里插入图片描述

Q：第一个词做了啥贡献、第二个词做了啥贡献，就要去查一查和第一个词关系咋样，和第二个词关系咋样。

K：被查的，q1和k1就是第一个词的与第一个词的关系，q1和k2就是第一个词和第二个词的关系。

V：每个关系都查到了，关系大的多点输入，关系少的少点输入，v1就代表x1的特征表达，v2就代表x2的特征表达，表示实际的特征信息

③回顾

在这里插入图片描述

计算q1·k1是使用内积计算的，当线性无关的时候就会垂直，即内积为0，当相关性越大，关系就越大哦！

④最终的value计算

softmax计算流程

分值->e^x->归一化

在这里插入图片描述

计算每一个词语对该词语的影响权重，计算公式：

在这里插入图片描述

然后再计算对应词的value与计算到的权重的乘积之和，就能得到第一个词的影响力。如下图所示：

在这里插入图片描述

在这里插入图片描述

⑤整体回顾

在这里插入图片描述

再次声明：咱们的计算是并行加速计算的，即使用矩阵乘法(不是使用for循环，多low哦)！直接就出来了，是不是很牛批，呜呜呜我爱线代❤️

multi-head（多头机制）的作用

一个词已经得到了一个q、k、v，参考卷积神经网络的卷积和与特征图，我们一组qkv得到了一种特征表达，如果能有多种qkv，我们就能得到多种当前特征的表达。

多头不是越多越好，一般而言是8个。

在这里插入图片描述

堆叠在一起，得到最后的注意力！嘿嘿，机智哦宝贝！！！

在这里插入图片描述

这是两个头，图中可以看到，和自己的注意力是挺大的，离得越远可能就注意力会小一下

在这里插入图片描述

堆叠多层：经过多头机制，一个不太好看的向量转化为了差不多的向量，我们重复多次提取，得到最后好看的向量！

在这里插入图片描述

位置编码与归一化

位置编码

在self-attention中每个词都会考虑整个序列的加权，所以其出现位置并不会对结果产生什么影响，相当于放哪都无所谓，但是这跟实际就有些不符合了，例如：我今天下午想去打球，肯定下午和打球是重点呀，于是我们希望模型能对位置有额外的认识。

这个人家已经写好了，不用管太多，BERT是使用正弦周期变化来进行位置编码。

归一化

下图所示，self-attention之后呢，有一个LayerNorm归一化，但是，什么叫对层进行归一化？？

LayerNorm就是没有Batch概念了，对他的一组数据，使得均值为0，平方差为1。

在这里插入图片描述

虚线部分是连接，用的是基本的残差连接方式，得到两个数据，模型自己去选择，至少不比原来差

在这里插入图片描述

整体梳理

多了Decoder-Encoder-attention机制

在这里插入图片描述

在这里插入图片描述

除了self-attention机制之外，BERT还加入了Decoder-Encoder-attention机制，充分利用数据的特征，通过Q来从解码器中查一查编码器中的K、V对应的是啥。

加入了MASK机制（别透题）

比如使用机器翻译，当前词无法使用后面词的信息，但是又不得不考虑，因此我们引入MASK机制，前面有的我们就能用，后面没有的我们就是当做黑盒子。

在这里插入图片描述

最终输出结果

就是得到一个分类，经过Softmax层即可

在这里插入图片描述

效果展示

在这里插入图片描述

经过训练，计算机可以知道it指代的是什么。天呐，计算机要成神了！！！

笼中小夜莺
关注
  • 4
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
使用 Transformer 模型进行自然语言处理
sybh的博客
04-15 762
Transformer 模型是 Google 在 2017 年提出的一种神经网络结构，用于解决自然语言处理中的序列建模任务。相比于传统的循环神经网络（如 LSTM 和 GRU），Transformer 模型具有更好的并行计算性能和更短的训练时间。Transformer 模型采用自注意力机制（Self-Attention）来处理序列数据。自注意力机制可以捕捉序列中不同位置之间的依赖关系，从而更好地建模序列数据。同时，Transformer 模型还使用了残差连接和层归一化等技术来加速模型的训练过程。
自然语言处理原理与实现
12-12
自然语言处理原理与实现，邱锡鹏
基于优化Morlet小波的一维信号瞬态特征提取方法（MATLAB R2018A）
最新发布
weixin_39402231的博客
06-01 788
小波分析方法近些年逐步得到发展的一门数学分析技术，它对许多学科都有十分重要的影响。与傅立叶变换等其他传统方法相比，小波分解的方法中所用的小波基有着多种多样的结构，总结来说又包括正交小波系与非正交小波系。正交小波在信号处理领域目前有着最多的应用，如Haar小波、Daubechies小波系等。非正交小波这些年来也逐步得到发展和应用，最具有代表性之一的就是Morlet小波。
自然语言处理之Transformer模型
qq_40216188的博客
05-24 644
自然语言处理之BERT模型一级目录二级目录三级目录 一级目录 二级目录 三级目录
自然语言处理原理技术与实现
08-28
本书详细介绍自然语言处理各主要领域的原理以Java 实现。仅做学习交流
自然语言处理——Transformer模型架构
qq_39079631的博客
12-04 1493
自然语言处理 Transformer Transformer的优势 相比LSTM和GRU模型，Transformer有两个显著的优势： Transformer能够利用分布式GPU进行并行训练，提高模型训练效率 在分析预测更长文本时，捕捉间隔较长的语义关联效果更好 认识Transformer架构 Transformer模型的作用：基于seq2seq架构的Transformer模型可以完成NLP领域研究的典型任务，如机器翻译、文本生成等。同时又可以构建预训练语言模型，用于不同任务的迁移学习 在接下
[LLM] 自然语言处理---Transformer原理(一)
摩登都市天空---专栏
12-03 4702
《Attention Is All You Need》是Google在2017年提出的一篇将Attention思想发挥到极致的论文。该论文提出的Transformer模型，基于encoder-decoder架构，抛弃了传统的RNN、CNN模型，仅由Attention机制实现，并且由于encoder端是并行计算的，训练时间大大缩短。 Transformer模型广泛应用于NLP领域，机器翻译、文本摘要、问答系统等等，目前火热的Bert模型就是基于Transformer模型构建的。 Transformer优点：
Python自然语言处理-BERT实战
10-26
Python自然语言处理-BERT模型实战课程旨在帮助同学们快速掌握当下NLP领域最核心的算法模型BERT的原理构造与应用实例。通俗讲解BERT模型中所涉及的核心知识点（Transformer,self-attention等），基于google开源BERT...
一文理解Transformer的工作原理
01-27
自然语言处理中的Transformer模型真正改变了我们处理文本数据的方式。Transformer是最近自然语言处理发展的幕后推手，包括Google的BERT。了解Transformer的工作原理、它如何与语言建模、序列到序列建模相关，以及它...
自然语言生成主客观评价指标原理详解（附代码实现）
07-20
自然语言生成（NLG）是人工智能领域的一个重要分支，它涉及让计算机自动生成人类可读的语言文本。在评估NLG系统的性能时，...理解这些评价指标的原理和优缺点，对于优化NLG系统和推动自然语言处理技术的进步至关重要。
nlp_notes:自然语言处理学习笔记：机器学习及深度学习原理和示例，基于Tensorflow和PyTorch框架，Transformer，BERT，ALBERT等最新预训练模型以及源代码详解，以及基于预训练模型进行各种自然语言处理任务。模型部署
03-23
机器学习及深度学习原理和示例，基于Tensorflow和PyTorch框架，Transformer，BERT，ALBERT等最新预训练模型以及源代码详解，以及基于预训练模型进行各种自然语言处理任务。以及模型部署 两种传统的模型： 基于规则或...
ChatGPT的发展历程、原理、技术架构详解和产业未来！
04-03
此前，OpenAI 因推出 GPT系列自然语言处理模型而闻名。从2018年起，OpenAI就开始发布生成式预训练语言模型GPT（Generative Pre-trained Transformer），可用于生成文章、代码、机器翻译、问答等各类内容。 每一代...
自然语言处理模型（transformer）
kjzd123的博客
03-14 1752
transformer模型发展过程
基于Transformers的自然语言处理入门【四】-GPT
hezzfew的博客
09-17 943
基于Transformers的自然语言处理入门【四】-GPT1 GPT模型2 语言模型3 基于Transformer的语言模型4 GPT2详解 1 GPT模型 OpenAI提出的GPT-2模型(https://openai.com/blog/better-language-models/)能够写出连贯并且高质量的文章，比之前语言模型效果好很多。GPT-2是基于Transformer搭建的，相比于之前的NLP语言模型的区别是：基于Transformer大模型、，在巨大的数据集上进行了预训练。 2 语言模型
当今自然语言处理领域中的成功之路：Transformer模型
m0_74693860的博客
05-10 698
通过多层自注意力机制的堆叠和前馈神经网络（feed-forward neural network）的加入，Transformer模型能够更好地理解文本数据并进行高质量的预测。与传统的递归神经网络（如循环神经网络）不同，Transformer使用了全连接层和注意力机制，能够在保持序列信息的情况下更好地处理长序列的文本数据。更好地处理长序列：由于自注意力机制的引入，Transformer模型能够更好地处理长序列的文本数据，避免了递归神经网络的梯度消失问题。
计算机自然语言处理的原理,什么是自然语言处理（NLP）？
weixin_39943799的博客
07-17 4626
自然语言是利用电脑等工具对人类所持有的语言信息(包括口语信息和文字信息)进行各种加工,并建立各种类型的人—机—人系统。电子计算机处理和加工人类的书面和口头语言信息的技术。同时它也是人工智能的一个主要内容，是人类用电子计算机模拟人类智能的一个重要尝试，也是人工智能领域的一大突破点。如图所示：1.自然语言(NLP)处理系统包括:1、机器翻译系统2、自然语言理解系统3、信息自动检索系统4、信息自动抽取系...
自然语言处理模型：bert 结构原理解析——attention+transformer（翻译自：Deconstructing BERT）
guangyacyb的博客
03-09 2227
原文：Deconstructing BERT: Distilling 6 Patterns from 100 Million Parameters 《bert 结构解析：在1亿个参数中提取6种模式》 The year 2018 marked a turning point for the field of Natural Language Processing, with a serie...
【深度学习】Transformer原理篇——浓缩的精华
聊北辰同学的博客
06-08 1695
目录 文章目录目录0. 前言1. 认识Transformer1.1 Seq2Seq模型与Attention机制1.2 Transformer1.2.1 Transformer基本结构1.2.2 Transformer的注意力机制1.2.3 Transformer的位置编码2. Transformer的应用探索2.1 NLP2.2 CV参考 0. 前言 Transformer由Google在《Attention Is All You Need》这篇论文中被提出，主要用于处理Seq2Seq（序列到序列，Sequ
Transformer作为特征提取器
热门推荐
weixin_36103474的博客
05-02 1万+
Transformer之前 上图是经典的双向RNN模型，我们知道该模型是通过递归的方式运行，虽然适合对序列数据建模，但是缺点也很明显“它无法并行执行”也就无法利用GPU强大的并行能力，再加上各种门控机制，运行速度很慢。一般而言，编码器输出编码向量C作为解码器输入，但是由于编码向量C中所有的编码器输入值贡献相同，导致序列数据越长信息丢失越多。 CNN网络相比RNN网络，它虽然可以并行执行，但是无...
transformer模型原理详解
05-04
Transformer 模型是一种基于注意力机制（Attention Mechanism）的深度神经网络模型，主要用于自然语言处理任务，如语言建模、机器翻译、文本生成等。相较于传统的循环神经网络（RNN）和卷积神经网络（CNN），Transformer 模型能够更好地处理长序列数据，并且并行化计算效率更高。下面详细介绍 Transformer 模型的原理。 Transformer 模型主要由编码器（Encoder）和解码器（Decoder）两部分组成，其中编码器和解码器都是由多层的自注意力机制（Self-Attention）和前馈神经网络（Feed-Forward Neural Network）组成。 编码器的输入是一段文本序列，经过多层的自注意力机制和前馈神经网络，在每一层中都会生成一个新的表示向量。自注意力机制主要是通过计算文本序列中每个词与其他词之间的注意力得分，来确定每个词在当前上下文中的重要程度，进而计算加权和作为新的表示向量。这样的处理方式能够有效地捕捉序列中每个词的语义信息，并且能够处理长序列数据。 解码器的输入是目标语言的词汇序列，解码器的每一步都会生成一个新的词汇，并且在生成每个词汇时都会考虑前面已经生成的词汇。因此，解码器在每一步中都会通过注意力机制来计算上下文向量，将其与当前输入进行融合，从而生成新的输出词汇。解码器的最终输出是一个完整的目标语言句子。 在 Transformer 模型中，自注意力机制和注意力机制的计算都是通过“多头注意力（Multi-Head Attention）”实现的。多头注意力机制能够同时计算多个不同的注意力，从而更好地捕捉序列中的上下文信息。同时，前馈神经网络也是多层的，并且每一层都会使用残差连接（Residual Connection）和层归一化（Layer Normalization）技术，从而避免梯度消失和梯度爆炸问题。 总之，Transformer 模型通过自注意力机制和前馈神经网络实现了序列到序列的建模，能够有效地处理长序列数据，是目前自然语言处理领域的主流模型之一。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

笼中小夜莺

嘿嘿嘿，请用金钱尽情地蹂躏我吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值