逻辑回归算法梳理

1、逻辑回归与线性回归的联系与区别

区别：线性回归主要用来解决连续值预测的问题，逻辑回归用来解决分类的问题，输出的属于某个类别的概率。

2、逻辑回归的原理

面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏

3、逻辑回归损失函数推导及优化

4、 正则化与模型评估指标

正则化方法
正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项或惩罚项。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化项就越大。

正则项可以取不同的形式，在回归问题中取平方损失，就是参数的 $L_2$ 范数，也可以取 $L_1$ 范数。取平方损失时，模型的损失函数变为：
$$J(\theta )=l(\theta )+1/m\ast \sum \theta 2$$
lambda是正则项系数：
• 如果它的值很大，说明对模型的复杂度惩罚大，对拟合数据的损失惩罚小，这样它就不会过分拟合数据，在训练数据上的偏差较大，在未知数据上的方差较小，但是可能出现欠拟合的现象；
• 如果它的值很小，说明比较注重对训练数据的拟合，在训练数据上的偏差会小，但是可能会导致过拟合。
正则化后的梯度下降算法θ的更新变为：
$$\theta =\theta -\lambda /m\ast \sum (h(x)-y)\ast x-\lambda /m\ast \theta$$

5、逻辑回归的优缺点

优点

1. 适合需要得到一个分类概率的场景。
2. 计算代价不高，容易理解实现。$LR$ 在时间和内存需求上相当高效。它可以应用于分布式数据，并且还有在线算法实现，用较少的资源处理大型数据。
3. $LR$ 对于数据中小噪声的鲁棒性很好，并且不会受到轻微的多重共线性的特别影响。

缺点

1. 容易欠拟合，分类精度不高。
2. 数据特征有缺失或者特征空间很大时表现效果并不好。

6、样本不均衡问题解决办法

1. 产生新数据型：过采样小样本(SMOTE)，欠采样大样本。
2. 对原数据的权值进行改变。
3. 通过组合集成方法解决。
4. 通过特征选择。