算法梳理（二） 逻辑回归

1. 逻辑回归与线性回归的联系与区别

逻辑回归是用来分类的，是一个非线性的二分类模型，主要是计算在某个样本特征下事件发生的概率，但是它本质上又是一个线性回归模型，除去sigmoid映射函数，其他的步骤，算法都是线性回归的。可以说，逻辑回归，都是以线性回归为理论支持的。

逻辑回归与线性回归都属于广义线性回归模型。

线性回归主要用来解决连续值预测的问题，逻辑回归用来解决分类的问题。

逻辑回归与线性回归最大的区别就在于它们的因变量不同，线性回归要求因变是连续数值变量，而逻辑回归要求因变量是离散的类型变量。

线性回归是直接分析因变量与自变量的关系，逻辑回归是分析因变量取某个值的概率与自变量的关系。

2. 逻辑回归的原理

我们了解了线性回归的原理就是把点落在一条直线上，而在逻辑回归的部分则是希望能够把点落在一条曲线上，然后我们再用一个阈值来将那些点分开而达到分类的效果。
逻辑回归的公式可以表示为：


其中，预测函数

被称作sigmoid函数，它有一个非常好的性质，即当z趋于正无穷时，趋于1，而当z趋于负无穷时，趋于0，这非常适合于我们的分类概率模型。sigmoid函数图像如下图所示：

对于输入x分类结果为类别1和类别0的概率分别为：

3. 逻辑回归损失函数推导及优化

我们可以