深度学习流程（二）之网络结构

一、激活函数

1.1 为什么使用激活函数

如果不使用激活函数，那么在神经网络中，每一层的节点的输入都是上一层输出的线性函数。那么神经网络不论有多少层，输出的都是输入的线性组合，这时候网络的逼近或者说表达能力就十分有限了，所以引入了非线性函数作为激活函数，增强网络的表达能力，使其能够逼近于任何函数。

1.2 常用的激活函数

1.2.1 sigmoid

$$sigmoid=\sigma (x)=\frac{1}{1+e^{-x}}$$

优点：

1. 便于求导的平滑函数
2. 能够压缩数据，保证数据幅度不会有问题
3. 适用于前向传播

缺点：

1. 容易造成梯度爆炸或者梯度消失，梯度值最大是0.25
2. 非0均值问题，导致模型收敛速度慢
3. 幂运算相对耗时

import numpy as np
class SigmoidActivator(object):
	def forward(self, weighted_input):
		return 1.0/(1.0 + np.exp(-weighted_input))
	def backward(self, output):
		return output * (1 - output)

1.2.2 tanh

$$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

优点：

1. 解决了非0均值问题

缺点：

1. 仍然容易造成梯度爆炸和梯度消失问题 ，梯度值在（0,1）之间。

class TanhActivator(object):
	def forward(self, weighted_input):
		return 2.0/(1.0 + np.exp(-2 * weighted_input)) - 1.0
	def backward(self, output):
		return 1 - output * output

1.2.3 relu

$$relu(x)=max(0,x)$$

优点：

1. 在正区间解决了梯度消失问题，永远为1
2. 收敛速度很快
3. 计算复杂度低，不需要进行指数运算
4. 适合反向传播

缺点

1. 非0均值问题
2. 神经元坏死现象。某些神经元可能永远不会被激活，导致相应参数永远不会被更新（在负数部分，梯度为0）。
3. Relu函数不会对数据的幅度进行压缩，所以数据的幅度会随着层数的增加不断扩张。

改进

1. Leaky-ReLU 解决了神经元坏死现象， $$leaky\_relu=max(0.01x,x)$$
2. Relu6 仅仅是在 ReLU 的基础上进行了 clip 操作，即限制了最大输出$$relu6=min(max(0,x),6)$$
3. ELU 指数线性函数 $$f(x)=\{\begin{array}{ll}x& x>0\\ \alpha (e^x-1)& otherwise\end{array}$$

class ReLUActivator(object):
	def forward(self, weighted_input):
		return weighted_input[weighted_input<0] = 0
	def backward(self, output):
		grad[output > 0] = 1
		gard[output <= 0] = 0
		return gard

1.3 神经元坏死现象

定义： ReLU在负数区域被kill的现象叫做神经元坏死现象。当 $x<0$ 的时候，梯度为0。这个神经元及之后的神经元梯度都为0，不再对任何数据有所响应，导致相应的参数永远不会更新。

原因： 产生神经元坏死的原因有两个，一个是参数初始化问题，另一个是学习率太高导致在训练过程中参数更新太大导致权重成为了负数。

解决办法：

1. 使用MSRA、Xavier初始化方法（简单的说就是实现某种均匀分布）
2. 使用leaky_relu、ELU等改进激活函数
3. 避免使用太大的学习率

1.4 激活函数的0均值问题

以sigmoid函数及tanh函数为例子，解释非0均值问题带来的影响

1.4.1 收敛速度

首先需要给收敛速度做一个诠释。模型的最优解即是模型参数的最优解。通过逐轮迭代，模型参数会被更新到接近其最优解。这一过程中，迭代轮次多，则我们说模型收敛速度慢；反之，迭代轮次少，则我们说模型收敛速度快。

1.4.2 参数更新

深度学习一般的学习方法是反向传播。简单来说，就是通过链式法则，求解全局损失函数 $L$ 对于某一参数 $w$ 的偏导数（梯度），而后辅以学习率 $\eta$，向梯度的反方向更新参数 $w$ $$w\leftarrow w-\eta \cdot \frac{\partial L}{\partial w}$$
考虑学习率 $\eta$ 是全局设置的超参数，参数更新的核心步骤就是计算 $\frac{\partial L}{\partial w}$。再考虑到对于某个神经元来说，其输入和输出的关系是 $$f(x;w,b)=f(z)=f(\sum _i{w}_i{x}_i+b)$$
因此，对于参数 $w_i$ 来说 ∂ L ∂ w i =