机器学习/深度学习/NLP-1-常用激活函数

sign和sigmoid

sign

sign(x)或者Sign(x)叫做符号函数，在数学和计算机运算中，其功能是取某个数的符号（正或负）：

图解：

sigmoid

sigmoid函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。
优点：平滑、易于求导。
缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。
其定义为：

图像可表示为：

在机器学习的应用中，Sigmoid函数会分别处理各个原始输出值，因此其结果相互独立，概率总和不一定为1。

softmax

Softmax函数，也称归一化指数函数，实际上是有限项离散概率分布的梯度对数归一化。
常用于多分类问题，因为其答案是互斥输出的。
其定义为：

概率计算流程示例：

其和sigmoid函数在神经网络模型上的应用根据是否互斥，可按下述区分：
如果模型输出可以同时选择多个类别，则采用Sigmoid函数计算输出；如果模型输出只选择一个类别，则采用Softmax函数计算输出。

tanh

tanh是双曲函数中的一个，tanh()为双曲正切。在数学中，双曲正切“tanh”是由基本双曲函数双曲正弦和双曲余弦推导而来。

图像可表示为：

取值范围为(-1,1)，导函数的取值范围为（0.1]，相对于sigmoid函数，tanh是完全可微分的，反对称，对称中心在原点。但它和sigmoid函数都存在梯度弥散问题。

Relu

修正线性单元（Rectified linear unit，ReLU）是神经网络中最常用的激活函数。它保留了 step 函数的生物学启发（只有输入超出阈值时神经元才激活），不过当输入为正的时候，导数不为零，从而允许基于梯度的学习（尽管在 x=0 的时候，导数是未定义的）。
公式如下：

图像可表示为：

其缺陷在于：当输入为负值的时候，ReLU 的学习速度可能会变得很慢，甚至使神经元直接无效，因为此时输入小于零而梯度为零，从而其权重无法得到更新，在剩下的训练过程中会一直保持静默。

参考文献

1. 激活函数汇总+softmax
2. 常见的激活函数（sigmoid、tanh、relu）
3. Sigmoid和tanh的异同
4. Sigmoid,Tanh,Relu的区别，写得很详细，强推
5. softmax函数理解
6. 百度百科