【笔记】逻辑斯蒂回归

一、逻辑斯蒂回归概述

（1）逻辑斯蒂回归的目的：分类。

逻辑斯蒂回归常常解决分类问题，特别是二分类问题。

（2）逻辑斯蒂回归的过程：回归。

计算结果是0~1之间的连续值，代表发生的可能性（类概率）。

（3）阈值：通过可能性和阈值的比较完成分类。

如：算出违约的可能性，如果大于0.5，则将借款人分类为坏客户。

二、逻辑斯蒂回归模型

由于二分类问题中，标签只有是和否（1和0），如果用线性回归进行拟合，线性回归的值域不在0 ~ 1之间，预测结果难以作为可能性输出。而如果用分段函数进行拟合，由于分段函数并不连续，预测结果不是我们希望的可能性0 ~ 1的连续值。

解决办法就是将线性回归和sigmoid函数结合起来，即组成一个嵌套函数。

sigmoid函数图像：

组成的嵌套函数：

三、逻辑斯蒂回归的损失函数

如果直接将最小二乘法中的 $\hat{y}$ 替换成sigmoid函数作为逻辑斯蒂回归的损失函数来求最小值，会发现这个函数并不是凸函数，因此采用别的损失函数。

（1）二分类问题中y的概率

由于约定 y ^ = P ( y = 1 ∣ x ) \hat y=P(y=1|x)