六、分类问题和逻辑回归

1、分类问题-classification

\qquad 区分垃圾邮件(0-1分类问题)，网上交易是否诈骗(0-1分类问题)，判断肿瘤是否为良性(0-1分类问题)都为简单的二元分类问题。用线性回归方式来解决分类问题的思路为：首先根据给定的训练数据来拟合一条线性函数，之后找到纵坐标为0.5的对应的横坐标的值$val$，之后将小于$val$的值标记为分类1，将大于$val$的值标记为分类0。这种方法会受到训练数据较大的影响，若有一个偏离较大的训练数据，则会让回归函数出现较大的偏离，使得预测结果变得很差。

2、 逻辑回归-Logistic Regression

\qquad 使用线性回归来解决分类问题的另一大弊端在于当前需要的预测值 y ∈ { 0 , 1 } y \in \{0,1\} y∈{0,1}，而线性回归函数的值包含任意值，为了解决这个问题，可以将假设函数的形式进行更改，使得$0\le h_{\theta }(x)\le 1$，从而引出Logistic Functin或者叫做Sigmoid Function。Sigmoid Function的函数表达式和函数图像如下所示：
$$h_{\theta }(x)=g({\theta }^{T}x)$$$$g(z)=\frac{1}{1+e^{-z}}$$$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

\qquad 上述Sigmoid Function将给出$h_{\theta }(x)$输出为1的概率，例如当
$h_{\theta }(x)=0.7$时，表示输出有70%概率为1，同时表示输出有30%概率为0。所以Sigmoid Function可以很好地解决0-1分类问题。当输出不小于0.5将这个实验数据划分到1的分类中，否则划分到0的分类中。
$$h_{\theta }(x)=P(y=1|x;\theta )=1-P(y=0|x;\theta )$$

2.1 决策边界

\qquad 上述提到，当$h_{\theta }(x)$的值不小于0.5将这个实验数据划分到1的分类中，否则划分到0的分类中，即$$h_{\theta }(x)\ge 0.5\to y=1$$$$h_{\theta }(x)<0.5\to y=0$$ \qquad 根据上述Sigmoid Function函数图像可以得出下述结论：$$g(z)\ge 0.5whenz\ge 0$$ \qquad 根据上述式子可以推出：$$h_{\theta }(x)=g({\theta }^{T}x)\ge 0.5when{\theta }^{T}x\ge 0$$ \qquad 所以有：$${\theta }^{T}x\ge 0\to y=1$$$${\theta }^{T}x<0\to y=0$$ \qquad 通过下述示例来进一步理解决策边界：

\qquad 上例中决策边界为$x=5$，当$x\le 5$时，$y=1$；当$x>5$时，$y=0$。

\qquad 同时需要注意，决策边界不一定为线性的形式，也可以为二次或者高次函数。

\qquad 通过上述分析可以看出，训练数据集不是用来确定决策边界的，而是用来训练参数$\theta$的，一旦得到一组确定的参数$\theta$，就可以根据上述方法确定出决策边界。

THE END