学习记录：nn.Embeding的作用

nn.Embedding 是实现词id到词向量的映射。nn.Embedding具有可学习的权重矩阵（weight），其形状为（num_word, embeding_dim）。num_word：词汇的总量；embeding_dim：词向量的维度。

NLP中通常处理手段为：

1、对输入文本进行分词，如 i love you -> [1, 5, 7]，数字代表词的id，对于多个句子构成list[[sentence1],[sentence2],......]。

2、如果[sentence1],[sentence2]长度不一致需进行填充，使得长度一致。

3、使用 nn.Embedding()即可转换为对应的词向量，参与后续运算。

import torch
from torch import nn
 
# 创建最大词个数为10，每个词用维度为4表示
embedding = nn.Embedding(10, 4)
 
# 将第一个句子填充0，与第二个句子长度对齐
in_vector = torch.LongTensor([[1, 2, 3, 4, 0, 0], [1, 2, 5, 6, 5, 7]])
out_emb = embedding(in_vector)
print(in_vector.shape)
print((out_emb.shape))
print(out_emb)
print(embedding.weight)

torch.Size([2, 6])
torch.Size([2, 6, 4])
tensor([[[-0.6642, -0.6263,  1.2333, -0.6055], # 第一个词的词向量
         [ 0.9950, -0.2912,  1.0008,  0.1202], # 第二个词的词向量
         [ 1.2501,  0.1923,  0.5791, -1.4586], # 第三个词的词向量
         [-0.6935,  2.1906,  1.0595,  0.2089], # 第四个词的词向量
         [ 0.7359, -0.1194, -0.2195,  0.9161], # 第五个词的词向量
         [ 0.7359, -0.1194, -0.2195,  0.9161]], # 第六个词的词向量
 
        [[-0.6642, -0.6263,  1.2333, -0.6055],
         [ 0.9950, -0.2912,  1.0008,  0.1202],
         [-0.3216,  1.2407,  0.2542,  0.8630],
         [ 0.6886, -0.6119,  1.5270,  0.1228],
         [-0.3216,  1.2407,  0.2542,  0.8630],
         [ 0.0048,  1.8500,  1.4381,  0.3675]]], grad_fn=<EmbeddingBackward0>)
Parameter containing:
tensor([[ 0.7359, -0.1194, -0.2195,  0.9161],
        [-0.6642, -0.6263,  1.2333, -0.6055],
        [ 0.9950, -0.2912,  1.0008,  0.1202],
        [ 1.2501,  0.1923,  0.5791, -1.4586],
        [-0.6935,  2.1906,  1.0595,  0.2089],
        [-0.3216,  1.2407,  0.2542,  0.8630],
        [ 0.6886, -0.6119,  1.5270,  0.1228],
        [ 0.0048,  1.8500,  1.4381,  0.3675],
        [ 0.3810, -0.7594, -0.1821,  0.5859],

————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/lsb2002/article/details/132993128