sigmoid

sigmoid 函数

sigmoid函数是一个良好的阈值函数
特点：
连续，光滑
严格单调
关于(0,0.5)中心对称
对阈值函数有一个良好的近似
原函数：f(x) = 1/[1+e^(-x)]
其导数：f’(x)=f(x)*[1-f(x)]

选择使用Sigmoid的原因

以下内容转自知乎
sigmoid这个函数实质上是以分类为目的出现的。
传统的回归直接给出具体值，而当某些情况我们想知道某件事发生的概率时，这个函数就有用了：其将数值限定在0～1之间，从而将原有数值转化为概率–这个从其函数形式可以看到。
然后，之所以“用”这个函数，实质上并不是拿来用，而是经过推导得到的。
见《机器学习导论》长久以前推导过，思路应该是如下（细节出错望见谅）：
假设y = p(C1|x) 1-y = p(C2|x) 则可用y的对数比率 logit(y)来得到判定的概率，即logy/1-y > 0则选择C1， 这样 限定这是两个共享协方差矩阵的正态类，再使用贝叶斯规则 ：
logit(P(C1|x)) = …. = w * x + w0
则 log p(C1|x) / 1-p(C2|x) = w * x + w0
得到p(C1|x) = sigmoid(w * x + w0) = 1 / (1 + exp[-(w*x + w0)])
就是这样推导得到的， 然后再看最终的结论， 是不是发现 其与基本的线性回归不同就在于使用一个S形函数，将原来的数值转换到0～1之间，这样更加容易看到数值的意义。
逻辑斯蒂 判别式！注意这点，其不是对类条件密度p(x|C1)建模，而是对其比率建模。假设对数似然比线性 即：
logp(x|C1) / p (x|C2) = w *x + w0
再使用贝叶斯规则，像之前那样来整理推导得到：
y = p(C1|x) = 1 / (1 + exp[-(w*x + w0)]) 作为对于p(C1|x)的估计
这样看，使用sigmoid函数是推导得到的，有了这货以后 广告点击率估计就再也不愁了，谁知道哪位大牛提出来的，反正吾等采用就好了…..