分类器中的S型函数

      对于了解机器学习相关知识的朋友，对一个函数肯定不陌生，没错，就是我今天要说的sigmoid（S型）函数，这个函数的图像如下：

                                                                  

它的函数表达式为:

$$f(x)=\frac{1}{1+exp(-x)}$$
       这个函数有很好的特性，它的定义域为实数域，而值域为（0,1）,它的导数可以用自身的值计算出来： $f^{'}(x)=f(x)(1-f(x))$。在机器学习领域里面到处可以看到它的身影，比如我们常用的 Logistic Regression以及 Softmax Regression分类器就是用它作为输出单元的响应激活函数。以及神经网络中的神经元激活函数也大多用它。为什么是这个函数呢？其实并不是人为故意选出来的，而是有严密的数学逻辑推理出来的。

       以二分类问题来说明，我们如果假设类密度符合$p(x|C_i)$高斯分布，并且具有共同的协方差矩阵，则判别式函数是线性的。即：$g_i(x)=w^{T}_ix+w_{i0}$，这个不难证明。
       我们定义$y=p(C_1|x),P(C_2|x)=1-y$。则在分类时，我们选择$C_1$,如果

$$\begin{cases} y>0.5\\[2ex] \frac{y}{1-y}>1, & \text{否则选择$C_2$} \\[2ex] log\frac{y}{1-y}>0 \end{cases}$$

$log\frac{y}{1-y}$称作分对数（logit)变换或$y$的对数几率。在两个共享相同的协方差矩阵的正态类的情况下，对数几率是线性的：
$logit(P(C_1|x)=log\frac{P(C_1|x)}{1-P(C_1|x)}=log\frac{P(C_1|x)}{P(C_2|x)}=log\frac{p(x|C_1)}{p(x|C_2)}+log\frac{P(C_1)}{P(C_2)}$

                            $=log\frac{(2\pi)^{-d/2}|\Sigma|^{-1/2}exp[-(1/2)(x-\mu_1)^T\Sigma^{-1}(x-\mu_1)]}{(2\pi)^{-d/2}|\Sigma|^{-1/2}exp[-(1/2)(x-\mu_2)^T\Sigma^{-1}(x-\mu_2)]}+log\frac{P(C_1)}{P(C_2)}$

                            $=w^Tx+w_0$

其中

$$w = \Sigma^{-1}(\mu_1-\mu_2)$$ $$w_0=-\frac{1}{2}(\mu_1+\mu_2)^T\Sigma^{-1}(\mu_1-\mu_2)$$
分对数的逆
$$log\frac{P(C_1|x)}{1-P(C_1|x)}==w^Tx+w_0$$ 是Logistic函数，也就是所谓的sigmoid（S型）函数：
$$P(C_1|x)=sigmoid(w^Tx+w_0)=\frac{1}{1+exp[-(w^Tx+w_0)]}$$

通过上述推导，大家应该看到了，在假定模式类密度服从正态分布以及协方差矩阵相同的情况下，线性判别式与基于S型函数概率分类的效果是等价的。当然即使没有这个假设，也可以使用S型函数进行概率的估计，从而进行分类。