深度学习基础知识（一）--- 权重初始化

1、为什么需要权重初始化？

① 为了使神经网络在合理的时间内收敛

② 为了尽量避免在深度神经网络的正向（前向）传播过程中层激活函数的输出梯度出现爆炸或消失。

2、如何进行初始化？

①如果将每个隐藏单元的参数都初始化为0

那么在正向传播时每个隐藏单元将根据相同的输入计算出相同的值，并传递至输出层。在反向传播中，每个隐藏单元的参数梯度值相等。因此，这些参数在使用基于梯度的优化算法迭代后值依然相等。这样所有隐层的单元都是对称的了，很难学到什么有效的信息，之后的迭代也是如此。

所以权重初始化不能将权重参数全部初始化为0，应打破这种对称性。

②如果将参数都初始化为0周围极小的值：

也不好，比如如果用sigmoid做激活函数，它在0周围是近似线性的，如果我们的参数都初始化为0附近，那么可能数据经过神经元之后，大部分都落在线性区，那么我激活函数引入非线性的作用将被削减。

③如果参数都初始化为较大的值，很显然容易使得输出落入饱和区。

所以合理的初始化时比较重要的，一般采用随机的初始化。

3、常见的几种初始化方式

①、均匀分布初始化：

将参数初始化为 均匀分布U(a,b) 上的随机值，pytorch的实现方案：

torch.nn.init.uniform_(tensor, a=0, b=1)

②、高斯初始化：

将参数初始化