逻辑回归算法梳理-2

任务二：逻辑回归算法梳理

1、逻辑回归与线性回归的联系与区别

1.1 相同点

两者都是广义线性模型 GLM (Generalized linear models)

关系：可以认为逻辑回归的输入是线性回归的输出，将逻辑斯蒂函数（Sigmoid曲线）作用于线性回归的输出得到输出结果。
逻辑回归的模型 是一个非线性模型，sigmoid函数，又称逻辑回归函数。但是它本质上又是一个线性回归模型，因为除去sigmoid映射函数关系，其他的步骤，算法都是线性回归的。可以说，逻辑回归，都是以线性回归为理论支持的。
只不过，线性模型，无法做到sigmoid的非线性形式，sigmoid可以轻松处理0/1分类问题。

1.2 不同点

因变量：当响应变量本质上是分类时，使用逻辑回归。 例如，是/否，真/假，红/绿/蓝，第1 第2 /第3 /第4等。当响应变量是连续的时，使用线性回归。 例如，重量，身高，小时数等。线性回归用来预测，直接分析因变量与自变量的关系，逻辑回归用来分类，分析因变量取某个值的概率与自变量的关系。

自变量：线性回归要求自变量服从正态分布，逻辑回归对变量的分布则没有要求。 线性回归要求自变量与因变量有线性关系，Logistic回归没有要求 。

方程：线性回归给出一个方程，其形式为 Y = mX + C，而逻辑回归给出了一个 Y = e^X + e^-X 形式的方程。

系数解释：在线性回归中，自变量的系数解释非常简单（即保持所有其他变量不变，该变量的单位增加，预期因变量增加/减少xxx）。但是，在逻辑回归中，取决于您使用的概率分布（二项式分布，泊松分布等）是什么，自变量系数的解释是不同的。

误差最小化技术：线性回归使用普通最小二乘法来最小化误差并达到最佳拟合，线性回归模型更容易受到异常值(outlier)的影响，有可能需要不断变换阈值(threshold)，是会对异常值的惩罚严重，比如使用线性回归对 {0，1} 二分类问题做预测，则一个真值为1的样本，其预测值为50，那么将会对其产生很大的惩罚，这也和实际情况不符合，更大的预测值说明为1的可能性越大，而不应该惩罚的越严重。而逻辑回归使用对数似然函数进行参数估计，使用交叉熵作为损失函数，对预测错误的惩罚是随着输出的增大，逐渐逼近一个常数，这就不存在上述问题了。
举例：
在吴恩达的课程中有一个癌症的例子，对于分类问题，若用线性回归模型来预测癌症，显然对于有异常值的情况是不适用的，对准确率有影响。但是当使用逻辑回归模型时，就明显对异常值有较好的稳定性。所以线性回归更适合用来预测数据，对于这种分类问题还是需要逻辑回归来解决。如下图：

回归情况	示例
无异常值的线性回归
有异常值的线性回归
使用逻辑回归的方法进行分类

结果：在线性回归中，结果（因变量）是连续的。 它可以具有无数个可能值中的任何一个。线性回归是拟合函数，直接使用线性回归的输出作为概率是有问题的，因为其值有可能小于0或者大于1，这是不符合实际情况的。逻辑回归是预测函数，在逻辑回归中，结果（因变量）仅具有有限数量的可能值，其输出正是[0,1]区间。见下图，

2、 逻辑回归的原理

逻辑回归（LR ）的模型函数记作：y=h(x) ，具体形式如下（）:

对应到一元自变量的形式为：
设 z=a+bx，则：
这样的一个函数被称为逻辑函数，它在二维坐标中的表现是这样的：
因为表现为 S 形曲线，所以逻辑函数又被称为 Sigmoid 函数（S 函数）。
上图中，z是自变量（横轴），最终计算出的因变量 y（纵轴），则是一个 [0,1] 区间之内的实数值。一般而言，当 y>