逻辑回归

简介：

逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归。由于算法的简单和高效，在实际中应用非常广泛。

逻辑回归的输入：

逻辑回归的输入就是一个线性回归的结果。

逻辑回归的sigmoid激活函数：

• 回归的结果输入到sigmoid函数，输出[0,1]区间中的一个概率值，默认0.5为阈值。

逻辑回归最终的分类是通过属于某个类别的概率值来判断是否属于某个类别，并且这个类别默认标记为1(正例),另外的一个类别会标记为0(反例)。（方便损失计算）
输出结果解释：假设有两个类别A，B，并且假设我们的概率值为属于A(1)这个类别的概率值。现在有一个样本的输入到逻辑回归输出结果0.55，那么这个概率值超过0.5，意味着我们训练或者预测的结果就是A(1)类别。那么反之，如果得出结果为0.3那么，训练或者预测结果就为B(0)类别。

逻辑回归的损失计算：

其损失称为对数似然损失：

其中y为真实值，h​θ​​(x)为预测值。

无论何时，我们都希望损失函数值，越小越好
分情况讨论，对应的损失函数值：
当y=1时，我们希望h​θ​​(x)值越大越好；
当y=0时，我们希望h​θ​​(x)值越小越好

综合完整损失函数：每个项注意系数y与（1-y） y的取值只能0/1，故每次只有一个生效。

损失计算的案例：

优化损失 ：

同样使用梯度下降优化算法，去减少损失函数的值。这样去更新逻辑回归前面对应算法的权重参数，提升原本属于1类别的概率，降低原本是0类别的概率。