激活函数

如果对权重和偏置的微小改动，可以引起输出的微小改动，我们可以基于此来优化网络，但是有时单个感知机上的一个权重或者偏置的修改，会引起感知机输出完全翻转，我们引入激活函数来克服这个困难。

S型神经元激活函数

权重和偏置的微小修改只引起输出的微小变化，定义如下：

一个具有输入x，权重w，偏置 b 的 S型神经元的输出是：

函数的形状如下：

tanh激活函数：

sigmod 函数和 tanh 函数的关系是：

tanh 激活函数是 sigmod 函数的按比例变化版本，tanh 函数输出的值域是（-1,1），类似于 S 型神经元

修正线性神经元 RELU：

图像如下

sigmod 函数在饱和时，减缓了学习，Tanh 神经元也有类似的问题。但是 RELU 不存在这个问题，当带权输入很大时，不会导致其饱和，就不存在学习速率下降的问题，当带权输入是负数的时候，梯度就消失了,RELU 的单侧抑制可以使模型稀疏，并且克服了梯度消失的问题。