简述逻辑回归

逻辑回归是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归。由于算法的简单和高效，在实际应用中非常广泛。

逻辑回归的原理

要想掌握逻辑回归，必须掌握两点：
1）逻辑回归中，其输入值是什么
2）如何判断逻辑回归的输出

输入

逻辑回归的输入就是线性回归的结果。

激活函数

sigmoid函数


评判标准
1）回归的结果输入到sigmoid函数当中
2）输出结果：【0,1】区间中的一个概率值，默认0.5为阈值
逻辑回归最终的分类是通过属于某个类别的概率值来判断是否属于某个类别，并且这个类别默认标记为1(正例),另外的一个类别会标记为0(反例)。（方便损失计算）

损失以及优化

损失

逻辑回归的损失，称之为对数似然损失，公式如下：
分开类别：

其中y为真实值，h​​ (x)为预测值，h（x）∈【0,1】。

无论什么情况，我们都希望损失函数值，越小越好
分情况讨论，对应的损失函数值：
1）当y=1时，我们希望h（x）值越大越好；
2）当y=0时，我们希望h（x）值越小越好；
综合完整损失函数：

优化

同样使用梯度下降优化算法，去减少损失函数的值。这样去更新逻辑回归前面对应算法的权重参数，提升原本属于1类别的概率，降低原本是0类别的概率。