【Pytorch实用教程】transformer中创建嵌入层的模块nn.Embedding的用法

1. nn.Embedding的简单介绍

nn.Embedding 是 PyTorch 中的一个模块，用于创建一个嵌入层。这个层的主要作用是将离散的数值（通常是代表单词的索引）映射到一个连续的、固定大小的向量空间，这些向量也称为嵌入向量。在自然语言处理和其他类型的机器学习任务中，嵌入层是非常常用的，它可以帮助模型理解和处理类别型输入数据。

1.1 基本用法

在 PyTorch 中，nn.Embedding 需要两个主要的参数：num_embeddings 和 embedding_dim：

• num_embeddings（整数）: 嵌入层中的嵌入向量的数量，通常是词汇表的大小。
• embedding_dim（整数）: 每个嵌入向量的维度。