pytorch默认初始化_Pytorch的默认初始化分布

一、nn.Embedding.weight初始化分布

nn.Embedding.weight随机初始化方式是标准正态分布

，即均值$\mu=0$，方差$\sigma=1$的正态分布。

论据1——查看源代码

## class Embedding具体实现(在此只展示部分代码)

import torch

from torch.nn.parameter import Parameter

from .module import Module

from .. import functional as F

class Embedding(Module):

def __init__(self, num_embeddings, embedding_dim, padding_idx=None,

max_norm=None, norm_type=2, scale_grad_by_freq=False,

sparse=False, _weight=None):

if _weight is None:

self.weight = Parameter(torch.Tensor(num_embeddings, embedding_dim))

self.reset_parameters()

else:

assert list(_weight.shape) == [num_embeddings, embedding_dim], \

'Shape of weight does not match num_embeddings and embedding_dim'

self.weight =