Transformer入门基础知识

最新推荐文章于 2024-06-15 11:45:11 发布

AI-智能

最新推荐文章于 2024-06-15 11:45:11 发布

阅读量642

点赞数 8

文章标签： transformer 深度学习人工智能 prompt 机器学习自然语言处理

本文链接：https://blog.csdn.net/2401_82469710/article/details/138314899

版权

Transformer是一种面向机器翻译领域的Seq2Seq 编码器-解码器模型，即输入是一种语言，输出是另一种语言。本文将介绍一下Transformer入门的一些必备知识。

1. 词表示

要想把单词输入神经网络，需要将单词进行编码，与ASCII码不同，神经网络所使用的编码往往并不高效，而是更稀疏，从而方便网络提取和使用词的特征。

One-Hot编码: 一种简单的单词编码方式

One-Hot编码是一种比较简单的单词编码方式。假设我们现在有单词数量为𝑁的词表，那可以生成一个长度为𝑁的向量来表示一个单词，在这个向量中该单词对应的位置数值为1，其余单词对应的位置数值全部为0。

缺点：向量维度过长；向量之间正交，没有关联关系

Word Embedding: 一种分布式单词表示方式

假设每个单词都可以用𝑛个特征进行表示，即可以使用这𝑛个特征来刻画每个单词，有了这些特征去构建词向量，就能够根据这些特征比较容易地去划分单词的类别，比如”狗”和”蜈蚣”均是动物，在这个角度上说是一类的，他们之间的距离应该要比”狗”和”君子兰”近。

在NLP领域一般直接将模型表示为长度为𝑛的向量让模型去训练(只是每个向量维度具体代表什么含义是不好去解释的)。但好消息是通过合适的词向量学习算法，是可以比较好的学习到单词的语义信息的，语义相近的单词之间的距离会比较近，语义不同的单词之间距离会比较远。

粗暴的理解就是，每个单词表示成了一个向量，向量的每个维度代表了单词的“某个特征”。

2. 编码器-解码器

Seq2Seq将一个作为输入的序列映射为一个作为输出的序列，这一过程由编码（Encoder）输入与解码（Decoder）输出两个环节组成, 编码器负责接收输入序列，并将序列中的信息编码为中间表示即一个向量，这个向量作为输入传给解码器，解码器将中间表示解码为目标序列.

3. 自注意力机制

Transformer改进了RNN被人诟病的训练慢的特点，传统的Encoder-Decoder架构在建模过程中，下一个时刻的计算过程会依赖于上一个时刻的输出，而这种固有的属性就限制了传统的Encoder-Decoder模型就不能以并行的方式进行计算。

而Transformer架构的优点在于它完全摈弃了传统的循环结构，取而代之的是只通过注意力机制来计算模型输入与输出的隐含表示，而这种注意力的名字就是大名鼎鼎的自注意力机制（self-attention）。自注意力机制就是通过某种运算来直接计算得到句子在 编码 过程中每个位置上的注意力权重；然后再以权重和的形式来计算得到整个句子的隐含向量表示。最终，Transformer架构就是基于这种的自注意力机制而构建的Encoder-Decoder模型。

可以理解为Transformer既能将输入的序列所有内容都记住并有效利用，又规避了RNN这种循环架构不能并行的问题，也就是说让网络变得更宽，参数更多，并行度更高，可以有多个提取有用信息的入口，提取之后还能将这些信息有效组织在一起利用。

1. 经典注意力机制

图中展示了一个机器翻译的结果，在这个例子中，我们想将”who are you”翻译为”你是谁”，传统的模型处理方式是一个seq-to-seq的模型，其包含一个encoder端和一个decoder端，其中encoder端对”who are you”进行编码，然后将整句话的信息传递给decoder端，由decoder解码出”我是谁”。在这个过程中，decoder是逐字解码的，在每次解码的过程中，如果接收信息过多，可能会导致模型的内部混乱，从而导致错误结果的出现。

我们可以使用Attention机制来解决这个问题，从图2可以看到，在生成”你”的时候和单词”you”关系比较大，和”who are”关系不大，所以我们更希望在这个过程中能够使用Attention机制，将更多注意力放到”you”上，而不要太多关注”who are”，从而提高整体模型的表现。

图中展示的是生成单词”machine”时的计算方式。首先将前一个时刻的输出状态 𝑞2 和Encoder的输出 ℎ=[ℎ1,ℎ2,ℎ3,ℎ4]进行Attention计算，得到一个当前时刻的 𝑐𝑜𝑛𝑡𝑒𝑥𝑡，用公式可以这样组织：

解释一下，这里的 𝑠(𝑞𝑖,ℎ𝑗)表示注意力打分函数，它是个标量，其大小描述了当前时刻在这些Encoder的结果上的关注程度，然后用softmax对这个结果进行归一化，最后使用加权评价获得当前时刻的上下文向量 𝑐𝑜𝑛𝑡𝑒𝑥𝑡。这个𝑐𝑜𝑛𝑡𝑒𝑥𝑡可以解释为：截止到当前已经有了”I love”，在此基础上下一个时刻应该更加关注源中文语句的哪些内容。这就是关于Attention机制的一个完整计算。

最后，将这个𝑐𝑜𝑛𝑡𝑒𝑥𝑡和上个时刻的输出”love”进行融合作为当前时刻RNN单元的输入。

2. 键值对注意力机制

假设我们的输入信息不再是前边所提到的𝐻=[ℎ1,ℎ2,ℎ3,…,ℎ𝑛]，而是更为一般的键值对（key-value pair）形式 (𝐾,𝑉)=[(𝑘1,𝑣1),(𝑘2,𝑣2),…,(𝑘𝑛,𝑣𝑛)] ，相关的 查询向量仍然为 𝑞。这种模式下，一般会使用查询向量 𝑞和相应的键 𝑘𝑖进行计算注意力权值 𝑎𝑖。

当计算出在输入数据上的注意力分布之后，利用注意力分布和键值对中的对应值进行加权融合计算：

3. 多头注意力机制

多头注意力(Multi-Head Attention)是利用多个查询向量 𝑄=[𝑞1,𝑞2,…,𝑞𝑚]，并行地从输入信息(𝐾,𝑉)=[(𝑘1,𝑣1),(𝑘2,𝑣2),…,(𝑘𝑛,𝑣𝑛)]中选取多组信息。在查询过程中，每个查询向量 𝑞𝑖将会关注输入信息的不同部分，即从不同的角度上去分析当前的输入信息。

假设 𝑎𝑖𝑗代表第 𝑖 各查询向量 𝑞𝑖 与第 𝑗个输入信息 𝑘𝑗 的注意力权重， 𝑐𝑜𝑛𝑡𝑒𝑥𝑡𝑖 代表由查询向量𝑞𝑖计算得出的Attention输出向量。其计算方式为：

最终将所有查询向量的结果进行拼接作为最终的结果：

公式里的 ⊕表示向量拼接操作。

4. 自注意力机制

在前面几种注意力机制中，使用了一个查询向量 𝑞和对应的输入 𝐻=[ℎ1,ℎ2,…,ℎ𝑛]进行attention计算，这里的查询向量𝑞往往和任务相关，比如基于Seq-to-Seq的机器翻译任务中，这个查询向量𝑞可以是Decoder端前个时刻的输出状态向量。

然而在自注意力 机制（self-Attention）中，这里的查询向量也可以使用输入信息进行生成，而不是选择一个上述任务相关的查询向量。相当于模型读到输入信息后，根据输入信息本身决定当前最重要的信息。

也就是说，自注意力机制的查询向量可以不再依赖前个时刻的输出，可以直接有输入信息产生查询向量，最终构成了查询-键-值（Query-Key-Value）的模式。

Value的权重就是由Query和Key的相似度得来的，即不同的Query可以关注到不同的Value。

Transformer的QKV的计算方法，Q是Query的矩阵，K是Key的矩阵，dk是纬度，注意这里的运算全部为矩阵运算，并行度很高。

首先，需要将原始输入映射到查询空间𝑄、键空间𝐾和值空间𝑉，相关计算公式如下：

接下来，我们将去计算每个位置的注意力分布，并且将相应结果进行加权求和：

最后，为了加快计算效率，这里其实可以使用矩阵计算的方式，一次性计算出所有位置的的Attention输出向量：

总结一下，自注意力机制就是不再使用传统RNN依次输入单个词，后一个依赖前一个获取上下文的方式，转而从输入信息中分别构建查询-键-值（Query-Key-Value），从而可以并行的计算Q、K、V，进而得到后续计算所需要的context，从而极大的加快了运算速度。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

在这里插入图片描述