神经网络
前提: 在机器学习中谈的神经网络是值的 “神经网络学习”,或者说,是机器学习与神经网络这两个学科领域的交叉部分.
神经元的职责: 接受来自于其他神经元传输过来的信号,将接收到的总输入值与该神经元的阈值进行对比,通过激活函数处理以产生神经元的输出. 示意图如下所示.
1. 常见的激活函数,将线性函数用作神经元激活函数的缺陷。
(1). 阶跃函数
阶跃函数是理想的激活函数,其将输入值映射为输出值 “0” 和 “1” ,显然 “1” 对应兴奋,而 “0” 对应抑制.
但是,阶跃函数不连续,不光滑,所以实际中常用 “ S i g m o i d Sigmoid Sigmoid” 函数作为激活函数.
(2). S i g m o i d Sigmoid Sigmoid 函数
S i g m o i d Sigmoid Sigmoid 函数把可能在较大范围内变化的输入值挤压到 (0, 1) 输出值范围内,且函数连续、光滑. 表达式如下:
σ ( x ) = 1 1 + e − x \sigma (x) = \frac {1}{1+e^{-x}} σ(x)=1+e−x1
但是呢…
- 当输入稍微远离了坐标原点,函数的梯度就变得很小了,几乎为零。在神经网络反向传播的过程中,我们都是通过微分的链式法则来计算各个权重w的微分的。当反向传播经过了sigmod函数,这个链条上的微分就很小很小了,况且还可能经过很多个sigmod函数,最后会导致权重w对损失函数几乎没影响,这样不利于权重的优化,这个问题叫做梯度饱和,也可以叫梯度弥散。
- 函数输出不是以0为中心的,这样会使权重更新效率降低。
- sigmod函数要进行指数运算,这个对于计算机来说是比较慢的。
(3). t a h n tahn tahn 函数
tanh是双曲正切函数,tanh函数和sigmod函数的曲线是比较相近的. 表达式如下:
σ ( x ) = e x − e − x e x + e − x \sigma (x) = \frac {e^{x}-e^{-x}}{e^{x}+e^{-x}} σ(x)=ex+e−xex−e−x