机器学习——逻辑回归

（一）逻辑回归原理推导

从二元的分类问题开始讨论，将因变量(dependent variable)可能属于的两个类分别称为负向类（negative class）和正向类（positive class），则因变量 $y\in 0,1$，其中 0 表示负向类，1 表示正向类。

逻辑回归中选择对数几率函数（logistic function）作为激活函数，对数几率函数是Sigmoid函数（形状为S的函数）的重要代表。

$g(z)=\frac{1}{1+e^{-z}}$

自变量取值为任意实数，值域[0,1]

解释：将任意的输入映射到[0,1]区间，在线性回归中可以得到一个预测值，再将该值映射到Sigmoid函数中，这样就完成了由值到概率的转换，也就是分类任务。

预测函数：

$h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$

其中 ${\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n={\sum }_{i=1}^n{\theta }_i{x}_i={\theta }^{T}x$

在逻辑回归中，预测：

当$h_{\theta }(x)$ >= 0.5时，预测 ? = 1。
当$h_{\theta }(x)$ < 0.5时，预测 ? = 0 。

根据上面绘制出的 S 形函数图像，我们知道当 ：
$z$ = 0 时 $g(z)$ = 0.5
$z$> 0 时 $g(z)$> 0.5
$z$< 0 时 $g(z)$ < 0.5

又 $z={\theta }^{T}x$ ，即：
${\theta }^{T}x$ >= 0 时，预测 ? = 1
${\theta }^{T}x$ < 0 时，预测 ? = 0

判定边界（对不同类别的数据分割的边界，边界的两旁应该是不同类别的数据），现在假设我们有一个模型：

并且参数? 是向量[-3 1 1]。 则当$-3+x_1+x_2\ge 0$，即$x_1+x_2\ge 3$时，模型将预测 ? =1。 我们可以绘制直线$x_1+x_2$