Transformer模型-Input Embedding 嵌入层的简明介绍

今天介绍transformer模型的Input Embedding 嵌入层。

背景

嵌入层的目标是使模型能够更多地了解单词、标记或其他输入之间的关系。

从头开始嵌入Embeddings from Scratch

嵌入序列需要分词器tokenizer、词汇表和索引，以及词汇表中每个单词的三维嵌入。Embedding a sequence requires a tokenizer, a vocabulary of words and their indices, and a three-dimensional embedding for each word in the vocabulary. 

1. 分词器将序列分割为其标记tokens。
2. 创建分词器后，可以为示例创建词汇表vocabulary 。词汇表包含构成数据的唯一单词列表。现在可以使用该词汇表将任何标记序列转换为其整数表示形式。
3. 下一步是创建嵌入层，它只不过是一个大小为(vocab_size, d_model)的随机值矩阵。这些值可以使用torch.rand生成。
4. 创建嵌入后，可以使用索引序列为每个标记选择适当的嵌入。

​
使用 PyTorch 模块实现嵌入

 PyTorch 来实现变压器，可以使用nn.Embedding模块。

Embedding — PyTorch 2.2 documentation

理解（batch_size、seq_length、d_model）：

• batch_size：一次提供的序列总数。
• seq_length：标记化后每个序列中的单词或标记的总数。
• d_model：嵌入每个标记后模型的大小。

如需代码实现，请参看原文链接：

https://medium.com/@hunter-j-phillips/the-embedding-layer-27d9c980d124