[Daily]torch里的一些初始化

虽然少壮不努力但是老大还是要亡（精）羊（卫）补（填）牢（海）

torch.nn.init里的一些对tensor的初始化

均匀分布

nn.init.uniform_(tensor, a=0, b=1)

用均匀分布生成值来填充tensor

t1 = torch.zeros(2, 2)
print(t1)
t2 = nn.init.uniform_(t1)
print(t2)

>>> tensor([[0., 0.],
>>>         [0., 0.]])
>>> tensor([[0.0174, 0.9981],
>>>         [0.7287, 0.9384]])

正态分布

nn.init.normal_(tensor, mean=0., std=1.)

用给定均值(mean)和标准差(std)的正态分布中的值来填充tensor

t1 = torch.zeros(2, 2)
print(t1)
t2 = nn.init.normal_(t1)
print(t2)

>>> tensor([[0., 0.],
>>>         [0., 0.]])
>>> tensor([[-0.0445, -0.9591],
>>>         [ 0.9115,  0.7865]])

截断正态分布(详情点击链接自行了解 

nn.init.trunc_normal_(tensor, mean=0.0,