pytorch默认初始化_Pytorch：参数初始化 笔记

一、参数初始化概述

在设计好神经网络结构之后，权重初始化方式会很大程度上影响模型的训练过程和最终效果。

权重初始化方式包括ImageNet预训练参数，kaiming_uniform方式以及多种权重初始化方式。这篇笔记主要记录一下Pytorch中内置的各种权重初始化方式的原理与使用。

神经网络中需要进行参数初始化操作的有Linear，Conv，BN等。

二、Pytorch中的参数初始化方法

2.1 不进行初始化操作，系统的默认初始化方法(来源于pytorch0.4源码)

Conv{1,2,3}d 都是继承于_ConvNd，其中对于参数的默认初始化方法如下:

def reset_parameters(self):

n = self.in_channels

for k in self.kernel_size:

n *= k

stdv = 1. / math.sqrt(n)

self.weight.data.uniform_(-stdv, stdv)

if self.bias is not None:

self.bias.data.uniform_(-stdv, stdv)

Linear

def reset_parameters(self):

stdv = 1. / math.sqrt(self.weight.size(1))

self.weight.data.uniform_(-stdv, stdv)

if self.bias is not None:

self.bias.data.uniform_(-stdv, stdv)

BN{1,2,3}d 都是继承于_BatchNorm，其中对于参数的默认初始化方法如下:

def reset_parameters(self):

self.reset_running_stats()

if self.affine:

self.weight.data.uniform_()

self.bias.data.zero_()

2.2  torch.nn.init.uniform_(tensor, a=0, b=1)

使用均匀分布U(a,b)初始化Tensor，即Tensor的填充值是等概率的范围为 [a，b) 的值。均值为 (a + b)/ 2.

w = torch.empty(2, 3)