cz的博客

1.Transformer 整体结构首先介绍 Transformer 的整体结构，下图是 Transformer 用于中英文翻译的整体结构：可以看到 Transformer 由 Encoder 和 Decoder 两个部分组成，Encoder 和 Decoder 都包含 6 个 block。Transformer 的工作流程大体如下：第一步：获取输入句子的每一个单词的表示向量 X，X由单词的 Embedding（Embedding就是从原始数据提取出来的Feature） 和单词位置的 Embeddi

记录一下embedding_lookup根据词的索引来获取embedding输入是[batch_size,seq_lenth] 输出[batch_size,seq_lenth,embeding_size]def embedding_lookup(input_ids, vocab_size, embedding_size=128, initializer_range=0.02