经常看到深度学习参数初始化都是使用随机初始化,但是最近看了一篇文章Spectral Normalization中对于GAN判别器没有使用BN,BN其实弱化了参数初始化的作用,但是我们一旦不使用了BN,使用传统的随机初始化容易出现梯度消失的问题,因此决定尝试一些其他的参数初始化方法。
神经网络的训练过程中的参数学习是基于梯度下降法进行优化的。梯度下降法需要在开始训练时给每一个参数赋一个初始值。这个初始值的选取十分关键。一般我们希望数据和参数的均值都为 0,输入和输出数据的方差一致。在实际应用中,参数服从高斯分布或者均匀分布都是比较有效的初始化方式。
网络上关于参数初始化的介绍很多了,推荐一下聊一聊深度学习的weight initialization, 深度学习中的参数初始化 还有很多介绍原理的文章,这里的细节就不扣了,感兴趣的同学可以看看论文,这里主要介绍在深度学习的框架下如何使用他们。
1. Tensorflow几种使用参数初始化的方法
1.1 截断高斯分布
使用举例: tf.truncated_normal_initializer(stddev=0.01)
1.2 xavier初始化(适用于激活函数是sigmoid和tanh)
论文地址: Understanding the difficulty of training deep feedforward neural networks
使用举例:
tf.contrib.layers.xavier_initializer(uniform=True, seed=None, dtype=tf.float32)
1.3 MSRA初始化(适用于激活函数relu)
论文地址: Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
推荐文章: 深度学习——MSRA初始化
按照官网的介绍,当设置一定的参数时候就是"MSRA初始化"也就是默认设置。
tf.contrib.layers.variance_scaling_initializer(factor=2.0, mode='FAN_IN', uniform=False, seed=None, dtype=tf.float32) # MSRA初始化
2. Pytorch几种使用参数初始化的方法
pytorch官网
2.1 Xavier初始化
2.1.2 uniform形式
2.1.2 normal形式
2. 2 MSRA
2.2.1 uniform形式
2.2.2 normal形式
xavier和MSRA在没有BN的情况之下确实比随机初始化要好很多!