机器学习笔记（5）— 逻辑回归

1.二分类

逻辑回归即分类问题，本文以二分类（将数据及分为两类）为例。主要讲解逻辑回归的数学模型，决策边界以及代价函数，以及逻辑回归与线性回归的关系等。

2.逻辑回归模型

假设逻辑回归的目标函数为：

其中：

则目标函数为：

其图像为：

假设h_θ (x)≥0.5时预测的y=1, h_θ (x)<0.5时，预测的y=0。
当h_θ (x)≥0.5时，即〖g(θ〗^T x)≥0.5，从图中我们可以看出z>0当时，满足〖g(θ〗^T x)≥0.5。因此，我们知道，当满足：

预测的值y=1。

3.决策边界

假设目标函数为：

此时：

根据前文的结论，若想要y=1，则：

即：

即：

图像如下所示：
、
该函数的曲线就是上图中的红线，也被称为决策边界。把整个平面分为两个部分，决策边界是假设函数的一个属性，其取决于假设函数中的参数。

4.代价函数

线性回归中的的代价函数为：

令：

则代价函数为：

代表了代价函数是Cost项在训练集上的求和之后求平均。对于Cost函数的理解为：在预测值为h_θ (x_i )，实际输出为y_i的情况下，算法需要付出的代价。

5.使用Cost的代价函数以及Cost图像

我们使用Cost项画出的代价函数如下图1所示，这是一个非凸函数（机器学习中凹凸函数的定义和高数中的相反），当你使用梯度下降法是会有很多的局部最优解。而我们希望的函数图像如图2所示。

为解决非凸问题，定义Cost函数为：

Cost函数图像如下：

6.简化的代价函数

为了避免把代价函数写成两种情况，同时使代价函数显得更紧凑，把代价函数改为：

当y=1时：

当y=0时：

因此逻辑回归的代价函数为：

7.逻辑回归与线性回归

逻辑回归与线性回归均属于广义线性回归，在广义线性回归中，若因变量是连续的，就是线性回归，若因变量服从二项分布，就是逻辑回归。线性回归是通过拟合函数目进行预测，逻辑回归通过预测函数分类。
逻辑回归本质上还是线性回归，与现行回归不同的是通过使用sigmoid函数将结果取值范围映射到[0,1]。逻辑回归在线性回归的实数范围输出值上施加sigmoid函数将值收敛到0~1范围, 其目标函数也因此从差平方和函数变为对数损失函数, 以提供最优化所需导数。
线性模型的优化目标函数是最小二乘法，而逻辑回归则是最大似然函数。线性回归在整个实数域范围内进行预测，敏感度一致，而分类范围，需要在[0,1]。逻辑回归就是一种减小预测范围，将预测值限定为[0,1]间的一种回归模型，因而对于这类问题来说，逻辑回归的鲁棒性比线性回归的要好。
逻辑回归的模型本质上是一个线性回归模型，逻辑回归都是以线性回归为理论支持的。但线性回归模型无法做到sigmoid的非线性形式，sigmoid可以轻松处理0/1分类问题。