机器学习之三逻辑回归

一、分类（Classification）

1.1 概述

如果我们判断一个肿瘤是否是良性（0表示良性，1表示恶性），如果用线性回归的话：

从上图可以看出，如果在当前训练集下，效果还是比较理想的，当假设函数以0.5为界的时候。

但是，当我们改变一下训练集，如下图：

然后线性回归的如蓝色的线，如果再弄0.5为届的话，肯定就会有问题

综上，在分类的时候，如果用线性回归的话，除非你运气好，一般都是有问题的。

二、 逻辑回归（Logistic Regression）

在线性回归的时候，假设函数可以是大于1和小于0，但是，在逻辑回归中，我们保证假设的函数值的是0到1之间的：

那我们怎么保证假设函数在0到1之间呢? 那我们只要再线性回归的基础上，再套上一层g(x)函数，g（x）如下图：

这样的话，把2个函数合并一下，得到的图像如下图：

三、决策边界（Decision Boundary)

3.1 线性决策边界

由上图可知，当我们假设函数大于等于0的时候，y的值为1（判定为恶性），否则y的值为0, 当假设函数大于等于0.5的时候，即里面的参数大于0。

假设当特征量有2个的时候，如下图：当我们假设Θ^T为[-3,1,1]的时候，就可以画出以下的一条直线。这样就把空间分为了两个部分，当位于直线右边（满足Θ^T*X>=0)我们认为是y=1，否则y=0。这条线就叫做决策边界，决策边界与训练集无关，只是假设函数对于θ取值对应的一个属性

3.2 非线性决策边界

在线性回归中，我们通过增加特征量的高阶多项式，达到非线性回归，我们也可以对逻辑回归使用，得到的决策边界就不是线性的，比如我们再增加x1^2 和x2^2 两个特征：

当然，如果增加更高的指数，可以得到一些边界很复杂的图形

四、代价方程（Cost function）

4.1代价方程

我们在线性回归中用到的代价方程如下图：

对应的，如果我们在逻辑回归中用到上面的代价方程，会得到一个非凸函数：大概如下图：

如果我们在这样的函数图像上用梯度下降的话，会得到很多局部最优值。那怎么样才能得到想线性回归那样的一种弓形函数呢，看下图：由于假设函数是0到1之间的，对于-log函数，就如下图用洋红色画出来的

可见，假设函数越接近1，代价函数越小，即惩罚值越小。

4.2 代价方程的简化

前面讲的逻辑回归的代价方程分为了两种情况（当y取1或0时），但是是分 y=0或者y=1两种情况，那么如果合成一个该怎么写呢：如下图

所以，我们的目标就是找出使得代价函数J（θ）值最小的θ，从而生成假设函数用于预测当时输入x时候，y=1或者y=0的概率

五、梯度下降

与线性回归中的梯度下降算法不一样的是：但是由于假设函数不一样，所以算法和线性回归里面的不一样。逻辑回归的收敛性通过定义迭代次数来是实现

除了梯度下算法，还有其他的算法来求代价函数，并且收敛的速度远远快于梯度下降算法