写下此文是因自己在学习的过程中对逻辑回归的损失函数定义有所疑惑,查了诸多资料才得以理解,因此在此记录下来,一是为来日忘却时能够回来查阅,二是希望为有同样困惑的伙伴提供一点帮助。
1. 逻辑回归(Logistic Regression)简介
虽然名字里面含”回归“, 但逻辑回归一般用于解决分类问题,原生的逻辑回归用于二分类问题,也就是0-1分类。逻辑回归由于其英文名为Logistic Regression,也常简称为LR。
简单来说,LR就是将回归方程代入到Sigmod函数中。
先来看一个简单的回归方程:
z = f ( X ) = w 0 + w 1 x 1 + w 2 x 2 + ⋯ + w m x m z=f(X)=w_0+w_1x_1+w_2x_2+⋯+w_mx_m z=f(X)=w0+w1x1+w2x2+⋯+wmxm
其中 x k ( 1 < = k < = m ) x_k (1<=k<=m) xk(1<=k<=m) 代表样本的某一维特征, m m m为特征的维度。
在线性回归中,我们已知 x k x_k x