【深度学习】初始化笔记

一、 He Initialization

用在使用ReLu作为激活函数的神经网络中。
初始化方式：

np.random.randn((layer_dims[i],layer_dims[[i-1]))*np.sqrt(2./layer_dims[i-1])

二、Xavier Initialization

分为weights服从均匀分布和正态分布两种初始化。
均匀分布：

np.random.uniform(low,high,(layer_dims[i],layer_dims[i-1])*np.sqrt(6./(layer_dims[i]+layer_dims[i-1]))

正态分布：

np.random.randn((layer_dims[i],layer_dims[i-1]))*np.sqrt(3./(layer_dims[i]+layer_dims[i-1]))