【AndrewNg机器学习】逻辑回归(Logistic Regression)

1 模型描述

1.1 分类问题

在分类问题中，我们要预测的变量y是离散的值，即判断其结果是否属于某一个类。在二分类问题中，我们将因变量可能属于的两个类分别称为负向类(y=0)和正向类(y=1)。当我们使用线性回归来解决分类时，我们会设定一个阈值0.5，当y>0.5时，我们认为其属于正向类，反之，属于反向类。但是如果使用线性回归，那么假设函数的输出值可能远大于1，或者远小于0，此时，我们就需要使用逻辑回归算法来使输出值永远在0 到1 之间。

1.2 假设函数

逻辑回归的假设函数为$h_{\Theta }(x)=g\left(X\theta \right)$。
其中g代表逻辑函数（logistic function），也称Sigmoid function，其公式为$g(z)=\frac{1}{1+e^{-z}}$，图像如下图。

合起来之后我们得到逻辑回归模型：$$h_{\theta }(x)=\frac{1}{1+e^{-X\Theta }}$$
$h_{\theta }(x)$的作用是，对于给定的输入变量，根据参数计算输出结果=1(正向类)的可能性。即$h_{\theta }(x)=P(y=1|x;\theta )$

1.3 判定边界

在逻辑回归中，我们预测：当$h_{\theta }(x)\ge 0.5$ 时，预测$y=1$；当$h_{\theta }(x)<0.5$ 时，预测$y=0$。由$g(z)=\frac{1}{1+e^{-z}}$且$z=X\Theta$可以得到，当$X\Theta \ge 0$时，预测$y=1$；当$X\Theta <0$时，预测$y=0$。
假设我们有一个模型