nn.Embedding

文章转载于：https://blog.csdn.net/qq_40210472/article/details/88995433

class torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2, scale_grad_by_freq=False, sparse=False)

• num_embeddings (int) - 嵌入字典的大小

• embedding_dim (int) - 每个嵌入向量的大小

• padding_idx (int, optional) - 如果提供的话，输出遇到此下标时用零填充

• max_norm (float, optional) - 如果提供的话，会重新归一化词嵌入，使它们的范数小于提供的值

• norm_type (float, optional) - 对于max_norm选项计算p范数时的p

• scale_grad_by_freq (boolean, optional) - 如果提供的话，会根据字典中单词频率缩放梯度

• weight weight (Tensor) -形状为(num_embeddings, embedding_dim)的模块中可学习的权值

输入： LongTensor (N, W), N = mini-batch, W = 每个mini-batch中提取的下标数
输出： (N, W, embedding_dim)

# 权值初始化
# 方法一
self.embed = nn.Embedding(vocab_size, embedding_dim)
self.embed.weight.data.copy_(torch.from_numpy(pretrained_embeddings))

#方法二
embed = nn.Embedding.from_pretrained(feat)