Transformer

Grateful_Dead424

已于 2022-08-16 15:43:04 修改

阅读量1.7k

点赞数 4

文章标签： transformer 深度学习自然语言处理

于 2022-08-16 15:33:12 首次发布

本文链接：https://blog.csdn.net/grateful_dead424/article/details/126079145

版权

本文概述Transformer架构，包括其6个结构相同的encoder和decoder，重点讲解input/output embedding、位置编码的作用以及多头注意力机制。通过实例解析，探讨了如何处理输入的先后关系和使用位置编码增强时序信息。

摘要由CSDN通过智能技术生成

从全局角度概括Transfomer

在这里插入图片描述

6个encoder结构是完全相同的（但参数上不同），6个decoder结构是完全相同的（但参数上不同）。

先来介绍下input embedding和output embedding：

input embedding是编码器的输入，output embedding是解码器的输入。

input embedding和output embedding 是通过token embedding matrix 得到的，需要先构建token embedding matrix，维度是vocab_size乘d_model（vocab_size是词汇量的大小，d_model是词向量的长度，也就是说每一个词都用一个d_model维的向量表示，所有的词合起来就构成了这个矩阵），然后用tf.nn.embeddinglookup函数在matrix里按照x查询得到input embedding，x是由词的id构成的向量，设x的长度为T1，那么最终得到的input embedding的维数就是T1乘d_model。output embedding和input embedding的得到方式相同，不同的地方在于把x换成decoder_inputs，以机器翻译为例，要把T1长的英文翻译成T2长的中文，那么x是T1长的英文词id，decoder inputs就是对应T2长的中文词id，所以最终得到的output embedding是T2乘d_model维。