Sigmoid Function
\[ \sigma(z)=\frac{1}{1+e^{(-z)}} \]
feature:
- axial symmetry:
\[ \sigma(z)+ \sigma(-z)=1 \] - gradient:
\[ \frac{\partial\sigma(z)}{\partial z} = \sigma(z)[1-\sigma(z)] \]
由性质1 可知,
\[ \frac{\partial\sigma(z)}{\partial z} = \sigma(z) \sigma(-z) \]
Logistic Function
\[ \sigma(x;\theta)= \frac{1}{1+e^{-\theta x}} \]
首先我们考虑 \(2\) 分类问题, 所以\(f(x)\)的值域也是 \([-1,1]\)。
\[ P(y=1|x,\theta) = \sigma(x) \]
即对于给定的样本\(x\),其属于类别 \(1\) 的概率是 \(f(x)\)。则属于类别 \(-1\) 的概率是
\[P(y=-1 | x,\theta) = 1-\sigma(x)= \sigma(-x)\]
上述概率也可以写作:
\[P(y | x,\theta) = \left\{\begin{split}\sigma(x),~~~~y=1 \\ \sigma(-x),y=-1 \end{split}\right.\]
代价函数的形式是:
\[\mathcal{l}(\theta) = \frac{1}{n} \sum_{i=1}^{n} \log \sigma(y_i x_i) \]
Note
- 之所以记 \(y\in [-1,1]\) 而不是 \(y \in [0,1]\),因为前者能简化计算公式,不需要再做分类计算了。
- 如果采用 \(y \in [0,1]\), 那么我们的代价函数就变成了:
\[ \mathcal{l}(\theta) = \frac{1}{n} \sum_{i=1}^{n} y_i \log \sigma(x_i) + (1-y_i) \log (1-\sigma(x_i)) \]
详情请参见: [Logistic Regression分类器](http://www.cnblogs.com/guyj/p/3800519.html)