逻辑回归原理及sklearn.linear_model.LogisticRegression的参数说明

一）逻辑回归原理
逻辑回归（Logistic Regression），是一种用于二分类（binary classification）的算法。和前面讲的支持向量机一样，也可以可以通过搭建多个二分类器进行多分类。

逻辑回归的底层基于线性回归。通过输入的样本数据，基于多元线性回归模型求出线性预测方程：
图一

通过线性回归方程返回的是连续值，不可以直接用于分类业务模型，所以急需一种方式使得将连续的预测值->离散的预测值. (-∞,+∞) -> {0,1}
图二

该逻辑函数当x>0， y>0.5； 当x<0， y<0.5； 可以把样本数据经过线性预测模型求得的值带入逻辑函数的x，将预测函数的输出看做划分为1类别的概率，由此可以根据函数值确定两个分类。sigmoid函数也是线性函数非线性化的一种方式。

二）sklearn.linear_model.LogisticRegression的参数及说明
老规矩，先贴官网文档：
https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html#sklearn.linear_model.LogisticRegression
sklearn.linear_model.LogisticRegression(
penalty=’l2’,
dual=False,
tol=0.0001,
C=1.0,
fit_intercept=True,
intercept_scaling=1,
class_weight=None,
random_state=None,
solver=’warn’,
max_iter=100,
multi_class=’warn’,
verbose=0,
warm_start=False,
n_jobs=None,
l1_ratio=None)
2.1 penalty：惩罚项。可选参数为l1,l2, elasticnet和None（表示无指定规范）。
默认为：l2
用于指定惩罚项中使用的规范。
newton-cg、sag和lbfgs求解算法只支持L2规范。
liblinear和saga 求解算法支持L1 和L2规范
Saga 求解算法只支持elasticnet。
L1规范假设的是模型的参数满足拉普拉斯分布，L2假设的模型参数满足高斯分布，所谓的范式就是加上对参数的约束，使得模型更不会过拟合(overfit)，但是如果要说是不是加了约束就会好，这个没有人能回答，只能说，加约束的情况下，理论上应该可以获得泛化能力更强的结果。
2.2 dual：用来指明是否将原问题改成他的对偶问题。
默认为False。
对偶问题可以理解成相反问题，比如原问题是求解最大值的线性规划，那么他的对偶问题就是转化为求解最小值的线性规划，适用于样本较小的数据集，因样本小时，计算复杂度较低。
对偶方法只用在求解线性多核(liblinear)的L2惩罚项上。当样本数量>样本特征的时候，dual通常设置为False。
2.3 tol：停止求解的标准。
默认为1e-4。
就是求解到多少的时候，停止，认为已经求出最优解。
2.4 C：正则化强度的倒数。
默认为1.0。必须是大于0正浮点型数。
像SVM一样，值越小，正则化强度越大，即防止过拟合的程度更大。

2.5 fit_intercept：是否存在截距或偏差。
默认为True。

2.6 intercept_scaling：仅在正则化项为”liblinear”，且fit_intercept设置为True时有用。
默认为1。
2.7 class_weight：用于标示分类模型中各种类型的权重，可以是一个字典或者’balanced’字符串。
默认为None，不考虑权重。

如果class_weight选择balanced，那么类库会根据训练样本量来计算权重。某种类型样本量越多，则权重越低，样本量越少，则权重越高。

class_weight在分类模型中应用的两类问题：
第一种是误分类的代价很高。比如对合法用户（1）和非法用户（0）进行分类，将非法用户分类为合法用户的代价很高，我们宁愿将合法用户分类为非法用户，这时可以人工再甄别，但是却不愿将非法用户分类为合法用户。这时，我们可以适当提高非法用户的权重。
比如自定义class_weight={0:0.8,1:0.2}，这样类型0的权重为80%，而类型1的权重为20%。
第二种是样本是高度失衡的，比如我们有合法用户和非法用户的二元样本数据10000条，里面合法用户有9995条，非法用户只有5条，如果我们不考虑权重，则我们可以将所有的测试集都预测为合法用户，这样预测准确率理论上有99.95%，但是却没有任何意义。这时，我们可以选择balanced，让类库自动提高非法用户样本的权重。提高了某种分类的权重，相比不考虑权重，会有更多的样本分类划分到高权重的类别，从而可以解决上面两类问题。

2.8 random_state：随机数种子，可选参数，仅在正则化优化算法为sag,liblinear时有用。
默认为无。
如果是int，则random_state是随机数生成器使用的种子; 如果是RandomState实例，则random_state是随机数生成器; 如果为None，则随机数生成器是np.random使用的RandomState实例。

2.9 multi_class：分类方式选择参数，可选参数为ovr和multinomial。
默认为ovr。
ovr即one-vs-rest(OvR)，而multinomial即many-vs-many(MvM)。
MvM的原理和OvO（one-v-one）一样。关于OvR和OvO的原理，我在前面总结支持向量机的时候，有写到，地址如下：
https://blog.csdn.net/MR_Trustin/article/details/96437012
MvM相对于OvR分类更为精确，但是分类速度没有OvR快。如果选择了ovr，则4种损失函数的优化方法liblinear，newton-cg,lbfgs和sag都可以选择。但是如果选择了multinomial,则只能选择newton-cg, lbfgs和sag了。

2.10 solver：优化算法选择参数，决定了我们对逻辑回归损失函数的优化方法。只有五个可选参数，即newton-cg, lbfgs, liblinear, sag, saga。
默认为liblinear。
1.iblinear：使用了开源的liblinear库实现，内部使用了坐标轴下降法来迭代优化损失函数。
2.lbfgs：拟牛顿法的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。
3.newton-cg：也是牛顿法家族的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。
4.sag：随机平均梯度下降，是梯度下降法的变种，和普通梯度下降法的区别是每次迭代仅仅用一部分的样本来计算梯度，适合于样本数据多的时候。
5.saga：线性收敛的随机优化算法的的变种。
总结：
liblinear适用于小数据集，而sag和saga适用于大数据集因为速度更快。
对于多分类问题，只有newton-cg,sag,saga和lbfgs能够处理多项损失，而liblinear受限于一对剩余(OvR)。啥意思，就是用liblinear的时候，如果是多分类问题，得先把一种类别作为一个类别，剩余的所有类别作为另外一个类别。一次类推，遍历所有类别，进行分类。
newton-cg,sag和lbfgs这三种优化算法时都需要损失函数的一阶或者二阶连续导数，因此不能用于没有连续导数的L1正则化，只能用于L2正则化。而liblinear和saga通吃L1正则化和L2正则化。
同时，sag每次仅仅使用了部分样本进行梯度迭代，所以当样本量少的时候不要选择它，而如果样本量非常大，比如大于10万，sag是第一选择。但是sag不能用于L1正则化，所以当你有大量的样本，又需要L1正则化的话就要自己做取舍了。要么通过对样本采样来降低样本量，要么回到L2正则化。
从上面的描述，大家可能觉得，既然newton-cg, lbfgs和sag这么多限制，如果不是大样本，我们选择liblinear不就行了嘛！错，因为liblinear也有自己的弱点！
我们知道，逻辑回归有二元逻辑回归和多元逻辑回归。对于多元逻辑回归常见的有one-vs-rest(OvR)和many-vs-many(MvM)两种。而MvM一般比OvR分类相对准确一些。可是liblinear只支持OvR，不支持MvM，这样如果我们需要相对精确的多元逻辑回归时，就不能选择liblinear了。也意味着如果我们需要相对精确的多元逻辑回归不能使用L1正则化了。

2.11 max_iter：算法收敛最大迭代次数。
默认为10。
仅在正则化优化算法为newton-cg, sag和lbfgs才有用。

2.12 verbose：日志冗长度。
默认为0。就是不输出训练过程。
1的时候偶尔输出结果，大于1，对于每个子模型都输出。

2.13 warm_start：热启动参数。
默认为False。
如果为True，则下一次训练是以追加树的形式进行（重新使用上一次的调用作为初始化）。

2.14 n_jobs ：进程个数
默认None。相当于 n_jobs=1.
若值为 -1，则用所有的CPU进行运算。
若值为1，则不进行并行运算，这样的话方便调试。
若值小于-1，则用到的CPU数为(n_cpus + 1 + n_jobs)。因此如果 n_jobs值为-2，则用到的CPU数为总CPU数减1。

2.15 l1_ratio : The Elastic-Net mixing parameter, 取值范围0 <= l1_ratio <= 1。
默认None。
仅当penalty=‘elasticnet’ 时使用。设置’ l1_ratio=0等价于使用penalty=‘l2’，而设置l1_ratio=1等价于使用penalty=‘l1’。对于0 < l1_ratio <1，惩罚是L1和L2的组合

三）模型对象
coef_:返回各特征的系数,绝对值大小可以理解成特征重要性
intercept_:返回模型的截距
n_iter_:模型迭代次数

四）模型方法
ecision_function(X):返回决策函数值（比如svm中的决策距离）
predict_proba(X):返回每个类别的概率值（有几类就返回几列值）
predict_log_proba(X):返回概率值的log值（即将概率取对数）
predict(X)：返回预测结果值（0/1）
score(X, y=None):返回函数
get_params(deep=True):返回估计器的参数
set_params(**params):为估计器设置参数