深度学习-参数初始化

参数初始化

• 均匀分布初始化

  • 权重参数初始化从区间均匀随机取值,即在$(-1/\sqrt{d},1/\sqrt{d})$均匀分布生成当前神经元的权重,d为神经元的输入数量

• 正态分布初始化

  • 随机初始化从均值为0,标准差是1的高斯分布中取样,是一些很小的值对参数w进行初始化

• 全0初始化

  • 将神经网络的参数所有权重初始化为0

• 全一初始化

  • 将神经网络的参数所有权重初始化为1

• 固定值初始化

  • 将神经网络中的所有权重初始化为某个值

• kaiming 初始化，也叫做 HE 初始化

  • HE 初始化分为正态分布的 HE 初始化、均匀分布的 HE 初始化.
  • 正态化的he初始化
    • stddev = sqrt(2 / fan_in)
  • 均匀分布的he初始化
    • 它从 [-limit，limit] 中的均匀分布中抽取样本, limit是 sqrt(6 / fan_in)

• fan_in 输入神经元的个数

• xavier 初始化，也叫做 Glorot初始化

  • 该方法也有两种，一种是正态分布的 xavier 初始化、一种是均匀分布的 xavier 初始化.
    • 正态化的Xavier初始化
      • stddev = sqrt(2 / (fan_in + fan_out))
    • 均匀分布的Xavier初始化
      • [-limit，limit] 中的均匀分布中抽取样本, limit 是 sqrt(6 / (fan_in + fan_out))
      • fan_in 是输入神经元的个数， fan_out 是输出的神经元个数

import torch
import torch.nn.functional as F
import torch.nn as nn
# 1. 均匀分布随机初始化
def test01():
linear = nn.Linear(5, 3)
# 从0-1均匀分布产生参数
nn.init.uniform_(linear.weight)
print(linear.weight.data)
# 2.固定初始化
def test02():
linear = nn.Linear(5, 3)
nn.init.constant_(linear.weight, 5)
print(linear.weight.data)

# 3. 全0初始化
def test03():
linear = nn.Linear(5, 3)
nn.init.zeros_(linear.weight)
print(linear.weight.data)
# 4. 全1初始化
def test04():
linear = nn.Linear(5, 3)
nn.init.ones_(linear.weight)
print(linear.weight.data)
# 5. 正态分布随机初始化
def test05():
linear = nn.Linear(5, 3)
nn.init.normal_(linear.weight, mean=0, std=1)
print(linear.weight.data

# 6. kaiming 初始化
def test06():
# kaiming 正态分布初始化
linear = nn.Linear(5, 3)
nn.init.kaiming_normal_(linear.weight)
print(linear.weight.data)
# kaiming 均匀分布初始化
linear = nn.Linear(5, 3)
nn.init.kaiming_uniform_(linear.weight)
print(linear.weight.data)
# 7. xavier 初始化
def test07():
# xavier 正态分布初始化
linear = nn.Linear(5, 3)
nn.init.xavier_normal_(linear.weight)
print(linear.weight.data)
# xavier 均匀分布初始化
linear = nn.Linear(5, 3)
nn.init.xavier_uniform_(linear.weight)
print(linear.weight.data)