逻辑回归算法梳理

1、逻辑回归与线性回归的联系与区别

逻辑回归算法实际上是一种分类算法，它适用于标签y取值离散的情况，该算法的输出值永远在0到1之间。

线性回归算法假设特征和结果满足线性关系，适用于预测连续输出值的情况。

2、逻辑回归

逻辑回归模型的假设是：

其中，X代表特征向量，g代表逻辑函数是一个常用的逻辑函数为S形函数，公式为：

该函数图像为：

ℎ?(?)的作用是，对于给定的输入变量，根据选择的参数计算输出变量=1 的可能性（estimated probablity）即

                                                                                     ℎ?(?) = ?(? = 1|?; ?)

在逻辑回归中，我们预测：
当ℎ?(?) >= 0.5时，预测 ? = 1。
当ℎ?(?) < 0.5时，预测 ? = 0 。

根据上面绘制出的 S 形函数图像，我们知道当
? >= 0 时 ?(?)> = 0.5
? < 0 时 ?(?) < 0.5
又 ? =