【深度学习】(二) 优化算法

1. 归一化

将输入归一化成 $\mu =0，{\sigma }^2=1$ 的一组数据

${\mu }^{[l]}=\frac{1}{m}{\sum }_{i=0}^m{z}^{[l](i)}$

${\sigma }^{2[l]}=\frac{1}{m}{\sum }_{i=0}^m(z^{[l](i)}-{\mu }^{[l]}{)}^2$

$z_{norm}^{[l]}=\frac{z^{[l](i)}-{\mu }^{[l]}}{\sqrt{{\sigma }^{2[l]}+ϵ}}$

$\widetilde{z^{[l]}}=\gamma z_{norm}^{[l]}+\beta$

此处 $\gamma ，\beta$ 都是参数而非超参数，作用在于可以随意设置 $\widetilde{z^{[l]}}$ 的平均值。

2. 正则化

2.1 L2 正则化

$J(w,b)=\frac{1}{m}{\sum }_{i=1}^{m}L(\hat{y},y)+\frac{\lambda }{2m}\Vert w^{[l]}{\Vert }_F^2$

$\Vert w^{[l]}{\Vert }_F^2={\sum }_{i=0}^{n[l]}{\sum }_{j=0}^{n[l-1]}(w_{ij}{)}^2$

$W^{[l]}=(1-\frac{\alpha \lambda }{m})W^{[l]}-\alpha d{W}^{[l]}$

$b^{[l]}=(1-\frac{\alpha \lambda }{m})b^{[l]}-\alpha d{b}^{[l]}$

为什么 L2 正则化能减少过拟合

正则化 $\lambda$ 设置得足够大，权重矩阵 $W$ 被设置为接近于 0 的值，直观理解就是把多隐藏单元的权重设为 0，于是基本上消除了这些隐藏单元的许多影响，使得模型更加简单。

2.2 dropout 正则化

$d^{[l]}=np.random.rand(a^{[l]}.shape[0],a^{[l]}.shape[1])<keep-prob$

$a^{[l]}=np.multiply(a^{[l]},d^{[l]})$

$a^{[l]}/=keep-prob$

为什么 dropout 能减少过拟合

正则化 $\lambda$ 设置得足够大，权重矩阵 $W$ 被设置为接近于 0 的值，直观理解就是把多隐藏单元的权重设为 0，于是基本上消除了这些隐藏单元的许多影响，使得模型更加简单。

以 $keep-prob$ 的概率随机失活一部分神经单元，随机消除一部分神经单元的影响，起到了类似于 L2 正则化的影响。

在测试阶段不使用随机失活。

3. 参数初始化

$z=w_1{x}_1+w_2{x}_2+\dots \dots +w_n{x}_n$

为了解决梯度爆炸或梯度消失，你希望 $n$ 越大，$W$ 越小

先随机初始化参数矩阵

$W^{[l]} = np.random.rand(n^{[l]}, n^{[l-1]}) $

接着根据不同的激活函数处理参数矩阵

$sigmod/tanH$ ：$W^{[l]}=W^{[l]}\ast \sqrt{\frac{1}{n^{[l-1]}}}$

$ReLU$ ：$W^{[l]}=W^{[l]}\ast \sqrt{\frac{2}{n^{[l-1]}}}$

4. 优化算法

4.1 mini-batch 梯度下降

将样本均分，分成一个个 mini-batch，每个 mini-batch 的个数最好是 2 的次方个数，例如 64，128，256，512……

采用 mini-batch 梯度下降会使得损失函数并非严格递减，但总体趋势是递减的。

4.2 动量梯度下降算法

指数加权平均数

$v_0=0$

$v_1=\beta v_0+(1-\beta ){\theta }_1$

……

$v_t=\beta v_{t-1}+(1-\beta )v_t$

动量梯度算法，从坐标轴的角度老看，就是减少 $b$ 方向上的波动，加速 $W$ 方向上的波动，使得损失加速降低。以下公式均省略了层数。

$v$ 都初始化为 0。

$v_{dW}=\beta v_{dW}+(1-\beta )dW$

$v_{db}=\beta v_{db}+(1-\beta )db$

$ W = W - \alpha v_{dW}$

$ b = b - \alpha v_{db}$

4.3 RMSprop 算法

$S_{dW}=\beta S_{dW}+(1-\beta )d{W}^2$

$S_{db}=\beta S_{db}+(1-\beta )d{b}^2$

$ W = W - \alpha \frac{dW}{\sqrt{S_{dW}}}$

$ b = b - \alpha \frac{db}{\sqrt{S_{db}}}$

4.4 Adam 算法

动量梯度下降+RMSprop

$v_{dW}={\beta }_1{v}_{dW}+(1-{\beta }_1)dW$

$v_{db}={\beta }_1{v}_{db}+(1-{\beta }_1)db$

$S_{dW}={\beta }_2{S}_{dW}+(1-{\beta }_2)d{W}^2$

$S_{db}={\beta }_2{S}_{db}+(1-{\beta }_2)d{b}^2$

$ W = W - \alpha \frac{v_{dW}}{\sqrt{S_{dW} + \epsilon}}$

$ b = b - \alpha \frac{v_{db}}{\sqrt{S_{db} + \epsilon}}$

$v,S$ 都初始化为 0。

4.5 学习率衰减算法

$\alpha ={\alpha }_0\frac{1}{1+decayrate\ast epoch-num}$

此处 $decayrate$ 也是超参数

5. 超参数有哪些

5.1 fisrt

$\alpha$

5.2 second

$\beta$ = 0.9

#hidden units

$mini-batch-size$

5.3 third

#layers

$decayrate$

5.4 last

${\beta }_1=0.9$

${\beta }_2=0.999$

$ϵ=10^{-8}$

6. 尝试超参数时要选择合适的尺度