机器学习（六）——Logistic回归（分类算法）

分类

逻辑回归算法是分类算法，它适用于标签 y取值离散的情况。

对于分类，Y是0或1，如果使用线性回归，假设hθ(x)的输出值会远大于1或小于0，这样的结果会有些奇怪。于是，考虑造特殊函数使0=<hθ(x)<=1，也就是使用Logistic回归的方法。

假设陈述

我们引入一个新的模型，逻辑回归，该模型的输出变量范围始终在0和1之间。
逻辑回归模型的假设是：
X代表特征向量，g代表逻辑函数（logistic function)是一个常用的逻辑函数为S形函数（Sigmoid function），公式为：

得出假设函数为：

Logistic函数也就是Sigmoid函数的图像表示：

决策界限

决策界限的概念能帮助更好地理解假设函数在计算什么，决策界限是假设函数的一个属性。

在逻辑回归中我们预测：

根据上面绘制出的 S 形函数图像，我们知道当

现在假设我们有一个模型：





假设函数越复杂，也就是说特征数不断增加，将会得到更复杂的图像和决策界限。

代价函数