一、逻辑斯蒂回归概述
(1)逻辑斯蒂回归的目的:分类。
逻辑斯蒂回归常常解决分类问题,特别是二分类问题。
(2)逻辑斯蒂回归的过程:回归。
计算结果是0~1之间的连续值,代表发生的可能性(类概率)。
(3)阈值:通过可能性和阈值的比较完成分类。
如:算出违约的可能性,如果大于0.5,则将借款人分类为坏客户。
二、逻辑斯蒂回归模型
由于二分类问题中,标签只有是和否(1和0),如果用线性回归进行拟合,线性回归的值域不在0 ~ 1之间,预测结果难以作为可能性输出。而如果用分段函数进行拟合,由于分段函数并不连续,预测结果不是我们希望的可能性0 ~ 1的连续值。
解决办法就是将线性回归和sigmoid函数结合起来,即组成一个嵌套函数。
sigmoid函数图像:
组成的嵌套函数:
三、逻辑斯蒂回归的损失函数
如果直接将最小二乘法中的 y ^ \hat y y^ 替换成sigmoid函数作为逻辑斯蒂回归的损失函数来求最小值,会发现这个函数并不是凸函数,因此采用别的损失函数。
(1)二分类问题中y的概率
由于约定 y ^ = P ( y = 1 ∣ x ) \hat y=P(y=1|x) y^=P(y=1∣x) ,所以:
y = 1 y=1 y=1 时, P ( y ∣ x ) = y ^ P(y|x)=\hat y P(y∣x)=y^
y = 0 y=0 y=0 时, P ( y ∣ x ) = 1 − y ^ P(y|x)=1-\hat y P(y∣x)=1−y^
合并得到:
P ( y ∣ x ) = y ^ y ( 1 − y ^ ) ( 1 − y ) P(y|x)={\hat y}^y(1-\hat y)^{(1-y)} P(y∣x)=y^y(1−y^)(1−y)
(2)利用最大似然估计法估计模型参数
似然函数为:
对数似然函数为:
对极大似然函数求极大值,即可得到最理想的参数值。因此对于整个训练集,可以将代价函数定义为: