概念
- Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于二分类问题
- LR分类器适用数据类型：数值型和标称型数据。其优点是计算代价不高，易于理解和实现；其缺点是容易欠拟合，分类精度可能不高。
- 多维特征的训练数据进行LR时特征值必须做scale，确保特征的取值在相同的尺度内计算才会收敛。
模型
- 多元线性回归模型： y = θ T x y=\theta^Tx y=θTx
- Logistic回归模型：
其中
多元线性模型严重受离群值影响，所以选择阈值变得很难
Logistic回归模型因为sigmoid函数的引入解决了离群值问题，并且因为将值限定在0-1之间，可以引入概率，进而变成分类问题。
求解
- 最大似然估计
h θ ( x ) h_\theta(x) hθ(x)函数的值表示结果为1的概率，就是特征属于 y = 1 y=1 y=1的概率。因此对于输入 x x x分类结果为类别1和类别0的概率分别为:
依据公式(1)得到预测正确的概率为：
由于 y 1 , y 2 , ⋅ ⋅ ⋅ , y n y_1,y_2,\cdot\cdot\cdot,y_n y1,y2,⋅⋅⋅,yn各项独立，所以他们的联合分布为：
对上式求对数：
最大似然估计就是求使上式最大的 θ \theta θ
函数最优化的习惯是函数越小越好，所以在上式前边加上负号，则变成逻辑回归的损失函数，我们称之为交叉熵损失函数 - 梯度下降法
在Andrew Ng的课程中，取 J ( θ ) = − l ( θ ) m J(\theta)=-\cfrac{l(\theta)}{m} J(θ)=−ml(θ)（也可以不除m，相应的结果中去掉m即可）， J ( θ ) J(\theta) J(θ)最小时的 θ \theta θ为要求的最佳参数，通过梯度下降法求最小值，更新过程为：
其中
最终可化简为：
其中 i i i表示第 i i i个统计样本， j j j表示第 j j j个属性
2546
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
