关于sigmoid函数几点介绍

Sigmoid函数

Sgimoid函数即形似S的函数，也成为S函数。在机器学习中经常用作分类，如对数几率回归和神经网络（Neural Networks）中的对数几率函数（Logistic function）。
典型的Sigmoid函数，他把可能在较大范围内变化的输入值“挤压到”（0，1），输出范围内，因此又时也成为“挤压函数”（squashing function）
在分类问题中，我们经常需要找到一个单调可微函数将分类任务的真实标记y（分类结果所得数值一般是0-1之间的数,如0.99,0.35等，当我们需要的结果是0或者1）与线性回归模型的预测值联系起来。
考虑二分类任务，其输入标记y∈{0, 1}，但实际情况产生值处于0和1之间，如线性回归模型产生的预测值为z = wx +b 实际值。为了实际值转换为0 或者 1。 我们需要一个函数以0.5来区分，最理想的是单位阶跃函数（unti-step function）
y= {0, x<0 ； 1，x > 0}

即若预测值x大于0就为正例子，小于0为反例。
从图中明显看出，单位阶跃函数不连续，并不符合我们单调可微函数。
我们希望找到能在一定程度上近似单位阶跃函数的“替代函数”（surrogate function），并希望它单调可微。下面介绍两种“替代函数”。

逻辑函数

逻辑函数（logistic function）也成为对数几率函数，其函数为：

其图像为：

对数几率函数是Sigmoid函数最重要的代表，将z值转化为也给接近0或1的值，并且其输出值在z = 0附近变化很陡峭。

双曲函数

在数学中，双曲函数类似于常见的(也叫圆函数的)三角函数。基本双曲函数是双曲正弦"sinh"，双曲余弦"cosh"，从它们导出双曲正切"tanh"等。也类似于三角函数的推导。反函数是反双曲正弦"arsinh"(也叫做"arcsinh"或"asinh")依此类推。

关于双曲函数请参考文章：可能是最好的讲解双曲函数的文章