[Pytorch函数]nn.Embedding.weight

一、nn.Embedding.weight初始化分布

nn.Embedding.weight随机初始化方式是标准正态分布 [公式] ，即均值$\mu =0$，方差$\sigma =1$的正态分布。

import torch.nn as nn

# dim越大，均值、方差越接近0和1
dim = 800000
# 定义了一个(5, dim)的二维embdding
# 对于NLP来说，相当于是5个词，每个词的词向量维数是dim
# 每个词向量初始化为正态分布 N(0,1)（待验证）
embd = nn.Embedding(5, dim)
# type(embd.weight) is Parameter
# type(embd.weight.data) is Tensor
# embd.weight.data[0]是指(5, dim)的word embeddings中取第1个词的词向量，是dim维行向量
weight = embd.weight.data[0].numpy()
print("weight: {}".format(weight))

weight_sum = 0
for w in weight:
    weight_sum += w
mean = weight_sum / dim
print("均值: {}".format(mean))

square_sum = 0
for w in weight:
    square_sum += (mean - w) ** 2
print("方差: {}".format(square_sum / dim))

代码输出：

weight: [-0.65507996  0.11627434 -1.6705967  ...  0.78397447  ...  -0.13477565]
均值: 0.0006973597864689242
方差: 1.0019535550544454

二、torch.Tensor、torch.tensor、torch.randn初始化分布

1、torch.rand
返回$[0,1)$上的均匀分布（uniform distribution）。
2、torch.randn
返回$N(0,1)$，即标准正态分布（standard normal distribution）。
3、torch.Tensor
torch.Tensor是Tensor class，torch.Tensor(2, 3)是调用Tensor的构造函数，构造了$2\times 3$矩阵，但是没有分配空间，未初始化。
不推荐使用torch.Tensor创建Tensor，应使用torch.tenstor、torch.ones、torch.zeros、torch.rand、torch.randn等，原因：

t = torch.Tensor(2,3)
容易出现下述错误，因为t中的值取决当前内存中的随机值
如果当前内存中随机值特别大会溢出
RuntimeError: Overflow when unpacking long