深度学习－－神经网络权重初始化

背景知识：
高斯分布：
$\ f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu )^{2}}{2\sigma ^{2}})$

使用标准高斯分布对权重和偏向进行初始化

问题：会导致学习速度慢

根据独立标准高斯分布变量来选择权重和偏置，$\ \mu=0$ ，$\ \sigma=1$
标准高斯分布概率密度函数曲线:

假设神经网络有1000个输入，并使用标准高斯分布初始化了连接第一个隐藏层的权重，现在只看该层的连接权重：
该层神经元的输入$\ z=\sum_{j}^{ }w_{j}x_{j}+b_{0}$

假设使用的输入x，一半的输入神经元值为1，其余为0，则$\ \sum_{j}^{ }w_{j}x_{j}$就是500个标准高斯分布的随机变量的和．所以：
$\ E(\sum_{j}^{ }w_{j}x_{j})=0$　
$\ D(\sum_{j}^{ }w_{j}x_{j})=500\times 1＝500$

可得：

$\ \mu=E(z)=E(\sum_{j}^{ }w_{j}x_{j}+b_{0})=0$　
$\ \sigma^{2}=D(z)=D(\sum_{j}^{ }w_{j}x_{j}+b_{0})=500\times 1+1＝501$

则该层神经元的输入z的概率密度函数为：

$\ f(x)=\frac{1}{\sqrt{2\pi \times 501} }exp(-\frac{x^{2}}{2\times501})$

概率密度函数曲线:

可以看到z有一个非常宽的高斯分布，z有很大的比例会分布在|z|>>1的区域，即z>>1或z<<-1．此时由激活函数$\ \sigma()$(采用sigmoid函数)的图像可以看出：

隐藏神经元的输出$\ \sigma(z)$就会接近0或1，使隐藏层神经元达到饱和．此时对神经元权重进行微小调整只能给神经元的激活值带来非常微弱的变化．结果，在进行梯度下降算法时会导致神经网络学习缓慢．

code2中使用标准高斯分布对权重和偏向进行初始化：

    # 使用均值＝0　标准差＝1的高斯分布,对权重和偏向进行初始化
    def large_weight_initializer(self):
        self.biases = [np.random.randn(y, 1) for y in self.sizes[1:]]
        self.weights = [np.random.randn(y, x) for x, y in zip(self.sizes[:-1], self.sizes[1:])]

---

改进方法

使用$\ \mu=0$ $\ \sigma=\frac{1}{ \sqrt{n_{in} }}$ 高斯分布的随机值,对权重和偏向进行初始化

此时$\ n_{in}=1000$　即$\ \sigma=\frac{1}{ \sqrt{1000 }}$
仍假设输入为500个1和500个0，该层神经元的输入$\ z=\sum_{j}^{ }w_{j}x_{j}+b_{0}$
所以：

$\ E(\sum_{j}^{ }w_{j}x_{j})=0$　
$\ D(\sum_{j}^{ }w_{j}x_{j})=500\times \frac{1}{ 1000}＝0.5$

可得：

$\ \mu=E(z)=E(\sum_{j}^{ }w_{j}x_{j}+b_{0})=0$　
$\ \sigma^{2}=D(z)=D(\sum_{j}^{ }w_{j}x_{j}+b_{0})=500\times \frac{1}{ 1000}+1＝1.5$

则该层神经元的输入z的概率密度函数为：

$\ f(x)=\frac{1}{\sqrt{2\pi \times 1.5} }exp(-\frac{x^{2}}{2\times1.5})$

概率密度函数曲线:

可以看到z有一个非常窄的高斯分布．
将横坐标拉伸可以看到：

大部分z的分布集中在-1到1之间，避免了使隐藏层神经元达到饱和，由激活函数图像可以看到：

在-1到1区间上$\ \sigma(z)$的斜率非常大，对神经元权重进行微小调整能给神经元的激活值带来非常明显的变化，解决了神经网络学习缓慢的问题．

code2中使用$\ \mu=0$ $\ \sigma=\frac{1}{ \sqrt{n_{in} }}$ 高斯分布的随机值,对权重和偏向进行初始化

    # 从正太分布(均值＝0,标准差＝1/sqrt(n_in))随机赋值,对权重和偏向进行初始化
    def default_weight_initializer(self):
        # 第一层为输入层不设置偏差，从第二行开始
        self.biases = [np.random.randn(y, 1) for y in self.sizes[1:]]
        # 在同一个神经元的权值的平方根的平方根上用高斯分布平均0和标准偏差1初始化每个权值
        self.weights = [np.random.randn(y, x)/np.sqrt(x) for x, y in zip(self.sizes[:-1], self.sizes[1:])]