概念
- Logistic回归虽然名字里带“回归”,但是它实际上是一种分类方法,主要用于二分类问题
- LR分类器适用数据类型:数值型和标称型数据。其优点是计算代价不高,易于理解和实现;其缺点是容易欠拟合,分类精度可能不高。
- 多维特征的训练数据进行LR时特征值必须做scale,确保特征的取值在相同的尺度内计算才会收敛。
模型
- 多元线性回归模型: y = θ T x y=\theta^Tx y=θTx
- Logistic回归模型:
其中
多元线性模型严重受离群值影响,所以选择阈值变得很难
Logistic回归模型因为sigmoid函数的引入解决了离群值问题,并且因为将值限定在0-1之间,可以引入概率,进而变成分类问题。
求解
- 最大似然估计
h θ ( x ) h_\theta(x) hθ(x)函数的值表示结果为1的概率,就是特征属于 y = 1 y=1 y=1的概率。因此对于输入 x x x分类结果为类别1和类别0的概率分别为:
依据公式(1)得到预测正确的概率为:
由于 y 1 , y 2 , ⋅ ⋅ ⋅ , y n y_1,y_2,\cdot\cdot\cdot,y_n y1,y2,⋅⋅⋅,yn各项独立,所以他们的联合分布为:
对上式求对数:
最大似然估计就是求使上式最大的 θ \theta θ
函数最优化的习惯是函数越小越好,所以在上式前边加上负号,则变成逻辑回归的损失函数,我们称之为交叉熵损失函数 - 梯度下降法
在Andrew Ng的课程中,取 J ( θ ) = − l ( θ ) m J(\theta)=-\cfrac{l(\theta)}{m} J(θ)=−ml(θ)(也可以不除m,相应的结果中去掉m即可), J ( θ ) J(\theta) J(θ)最小时的 θ \theta θ为要求的最佳参数,通过梯度下降法求最小值,更新过程为:
其中
最终可化简为:
其中 i i i表示第 i i i个统计样本, j j j表示第 j j j个属性