pytorch默认初始化_Pytorch的默认初始化分布 nn.Embedding.weight初始化分布

一、nn.Embedding.weight初始化分布

nn.Embedding.weight随机初始化方式是标准正态分布

 ，即均值$\mu=0$，方差$\sigma=1$的正态分布。

论据1——查看源代码

## class Embedding具体实现(在此只展示部分代码)

import torch

from torch.nn.parameter import Parameter

from .module import Module

from .. import functional as F

class Embedding(Module):

def __init__(self, num_embeddings, embedding_dim, padding_idx=None,

max_norm=None, norm_type=2, scale_grad_by_freq=False,

sparse=False, _weight=None):

if _weight is None:

self.weight = Parameter(torch.Tensor(num_embeddings, embedding_dim))

self.reset_parameters()

else:

assert list(_weight.shape) == [num_embeddings, embedding_dim], \

'Shape of weight does not match num_embeddings and embedding_dim'

self.weight = Parameter(_weight)

def reset_parameters(self):

self.weight.data.normal_(0, 1)

if self.padding_idx is not None:

self.weight.data[self.padding_idx].fill_(0)

Embedding这个类有个属性weight，它是torch.nn.parameter.Parameter类型的，作用就是存储真正的word embeddings。如果不给weight赋值，Embedding类会自动给他初始化，看上述代码第6~8行，如果属性weight没有手动赋值，则会定义一个torch.nn.parameter.Parameter对象，然后对该对象进行reset_parameters()，看第21行，对self.weight先转为Tensor在对其进行normal_(0, 1)(调整为$N(0, 1)$正态分布)。所以nn.Embeddig.weight默认初始化方式就是N(0, 1)分布，即均值$\mu=0$，方差$\sigma=1$的标准正态分布。

论据2——简单验证nn.Embeddig.weight的分布

下面将做的是验证nn.Embeddig.weight某一行词向量的均值和方差，以便验证是否为标准正态分布。

注意：验证一行数字的均值为0，方差为1，显然不能说明该分布就是标准正态分布，只能是其必要条件，而不是充分条件，要想真正检测这行数字是不是正态分布，在概率论上有专门的较为复杂的方法，请查看概率论之假设检验。

import torch.nn as nn

# dim越大，均值、方差越接近0和1

dim = 800000

# 定义了一个(5, dim)的二维embdding

# 对于NLP来说，相当于是5个词，每个词的词向量维数是dim

# 每个词向量初始化为正态分布 N(0,1)(待验证)

embd = nn.Embedding(5, dim)

# type(embd.weight) is Parameter

# type(embd.weight.data) is Tensor

# embd.weight.data[0]是指(5, dim)的word embeddings中取第1个词的词向量，是dim维行向量

weight = embd.weight.data[0].numpy()

print("weight: {}".format(weight))

weight_sum = 0

for w in weight:

weight_sum += w

mean = weight_sum / dim

print("均值: {}".format(mean))

square_sum = 0

for w in weight:

square_sum += (mean - w) ** 2

print("方差: {}".format(square_sum / dim))

代码输出：

weight: [-0.65507996 0.11627434 -1.6705967 ... 0.78397447 ... -0.13477565]

均值: 0.0006973597864689242

方差: 1.0019535550544454

可见，均值接近0，方差接近1，从这里也可以反映出nn.Embeddig.weight是标准正态分布$N(0, 1)$。

二、torch.Tensor、torch.tensor、torch.randn初始化分布

1、torch.rand

返回$[0,1)$上的均匀分布(uniform distribution)。

2、torch.randn

返回$N(0, 1)$，即标准正态分布(standard normal distribution)。

3、torch.Tensor

torch.Tensor是Tensor class，torch.Tensor(2, 3)是调用Tensor的构造函数，构造了$2\times3$矩阵，但是没有分配空间，未初始化。

不推荐使用torch.Tensor创建Tensor，应使用torch.tenstor、torch.ones、torch.zeros、torch.rand、torch.randn等，原因：

t = torch.Tensor(2,3)

# 容易出现下述错误，因为t中的值取决当前内存中的随机值

# 如果当前内存中随机值特别大会溢出

RuntimeError: Overflow when unpacking long