pytorch中的gather函数_Pytorch中Emdedding函数的解释及使用方法

函数：torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False, _weight=None)

函数大概解释：相当于随机生成了一个tensor，可以把它看作一个查询表，其size为[embeddings_num，embeddingsdim] 。其中nembeddings_num是查询表的大小，embedding_dim是每个查询向量的维度，这里看起来很抽象，可以看下面的示例来进行理解。

参数解释：

1. embeddings_nums：查询表的大小
2. embeddings_dim：每个查询向量的维度
3. 其它参数其实很少用到，如果想了解，可以查看其他大佬的解释

具体实例：

实例一：创建查询矩阵并使用它做Embedding

embedding = nn.Embedding(5, 3)  # 定义一个具有5个单词，维度为3的查询矩阵
print(embedding.weight)  # 展示该矩阵的具体内容
test = torch.LongTensor([[0, 2, 0, 1],
                         [1, 3, 4, 4]])  # 该test矩阵用于被embed，其size为[2, 4]
# 其中的第一行为[0, 2, 0, 1]，表示获取查询矩阵中ID为0, 2, 0, 1的查询向量
# 可以在之后的test输出中与embed的输出进行比较
test = embedding(test)
print(test.size())  # 输出embed后test的size，为[2, 4, 3]，增加
# 的3，是因为查询向量的维度为3
print(test)  # 输出embed后的test的内容


——————————————————————————————————————
输出：
Parameter containing:
tensor([[-1.8056,  0.1836, -1.4376],
        [ 0.8409,  0.1034, -1.3735],
        [-1.3317,  0.8350, -1.7235],
        [ 1.5251, -0.2363, -0.6729],
        [ 0.4148, -0.0923,  0.2459]], requires_grad=True)
torch.Size([2, 4, 3])
tensor([[[-1.8056,  0.1836, -1.4376],
         [-1.3317,  0.8350, -1.7235],
         [-1.8056,  0.1836, -1.4376],
         [ 0.8409,  0.1034, -1.3735]],

        [[ 0.8409,  0.1034, -1.3735],
         [ 1.5251, -0.2363, -0.6729],
         [ 0.4148, -0.0923,  0.2459],
         [ 0.4148, -0.0923,  0.2459]]], grad_fn=<EmbeddingBackward>)

可以看出创建了一个具有5个ID(可以理解为拥有5个词的词典)的查询矩阵，每个查询向量的维度是3维，然后用一个自己需要Embedding的矩阵与之计算，其中的内容就是需要匹配的ID号，注意！如果需要Embedding的矩阵中的查询向量不为1，2这种整数，而是1.1这种浮点数，就不能与查询向量成功匹配，会报错，且如果矩阵中的值大于了查询矩阵的范围，比如这里是5，也会报错。

实例二：寻找查询矩阵中特定ID(词)的查询向量(词向量)

# 访问某个ID，即第N个词的查询向量(词向量)
print(embedding(torch.LongTensor([3])))  # 这里表示查询第3个词的词向量

————————————————————————————————————————
输出：
tensor([[-1.6016, -0.8350, -0.7878]], grad_fn=<EmbeddingBackward>)