机器学习（周志华）——第五章 神经网络

前提: 在机器学习中谈的神经网络是值的 “神经网络学习”，或者说，是机器学习与神经网络这两个学科领域的交叉部分.

神经元的职责: 接受来自于其他神经元传输过来的信号，将接收到的总输入值与该神经元的阈值进行对比，通过激活函数处理以产生神经元的输出. 示意图如下所示.

1. 常见的激活函数，将线性函数用作神经元激活函数的缺陷。

(1). 阶跃函数
阶跃函数是理想的激活函数，其将输入值映射为输出值 “0” 和 “1” ，显然 “1” 对应兴奋，而 “0” 对应抑制.

但是，阶跃函数不连续，不光滑，所以实际中常用 “$Sigmoid$” 函数作为激活函数.

(2). $Sigmoid$ 函数
$Sigmoid$ 函数把可能在较大范围内变化的输入值挤压到 (0, 1) 输出值范围内，且函数连续、光滑. 表达式如下:
$$\sigma (x)=\frac{1}{1+e^{-x}}$$

但是呢…

• 当输入稍微远离了坐标原点，函数的梯度就变得很小了，几乎为零。在神经网络反向传播的过程中，我们都是通过微分的链式法则来计算各个权重w的微分的。当反向传播经过了sigmod函数，这个链条上的微分就很小很小了，况且还可能经过很多个sigmod函数，最后会导致权重w对损失函数几乎没影响，这样不利于权重的优化，这个问题叫做梯度饱和，也可以叫梯度弥散。
• 函数输出不是以0为中心的，这样会使权重更新效率降低。
• sigmod函数要进行指数运算，这个对于计算机来说是比较慢的。

(3). $tahn$ 函数
tanh是双曲正切函数，tanh函数和sigmod函数的曲线是比较相近的. 表达式如下:
$$\sigma (x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$