目录
Pytorch自带Embedding模块,可以方便使用
self.embed = nn.Embedding(vocab_size, embedding_dim)
1、加载已训练好的词嵌入
词向量其实是模型的embedding层的权重,下面实现加载已训练好的embedding:
self.embed = nn.Embedding(vocab_size, embedding_dim)
pretrained_weight = np.array(pretrained_weight)
self.embed.weight.data.copy_(torch.from_numpy(pretrained_embeddings))
注意:同时,使用已经训练好的词向量之后,我们又有如下选择,即保持词向量不更新(固定词向量),或者基于加载的词向量进行更新权重。