逻辑回归
sklearn中主要有LogisticRegression和LogisticRegressionCV:LogisticRegressionCV使用交叉验证选择正则化参数C,而LogisticRegression需要每次手动指定一个正则化参数
#LogisticRegression
from sklearn.linear_model import LogisticRegression
lr = LogisticRegression( penalty = 'l2',
solver = 'liblinear',
multi_class = 'ovr',
class_weight = None,
C = 1,
random_state = None,
n_jobs = 1)
lr.fit(train_data,train_label)
test_pred = lr.predict(test_data)
test_proba = lr.predict_proba(test_data)
参数注解:
(1)penalty:正则化参数(l1、l2)
调参的目的是为了解决过拟合问题,一般penalty选用l2正则化即可,但还是过拟合,则考虑选择用l1正则化。假若模型特征过多,也可使用l1正则化生成特征系数的稀疏矩阵
(2)solver:优化算法参数(liblinear、lbfgs、newton-cg、sag)
当正则化参数选择l2时,四种优化算法均可使用;当正则化参数选择l1时,只能用liblinear。原因:l1正则化的损失函数不是连续可导,而newton-cg、lbfgs、sag这三种优化算法均需要算是函数的一阶或者二阶连续可导,而liblinear没有这个依赖
liblinear——使用坐标轴下降法来迭代优化损失函数
lbfgs——拟牛顿法,利用损失函数的二阶导数矩阵(海森矩阵)来迭代优化损失函数
newton-cg——牛顿法,利用损失函数二阶导数矩阵(海森矩阵)来迭代优化损失函数
sag——随机平均梯度下降,区别于普通梯度下降法,每次迭代仅仅使用一部分的样本计算梯度,适合样本数据多的情况。
(3)multi_class:分类方式参数(ovr、multinormial)
若是二元逻辑回归,其没有区别,区别在多元逻辑回归上。选择ovr,四种损失函数均可以选;假若选择multinomail,则只能选择newton-cg、lbfgs和sag
(4)class_weight:类型权重参数(None、balanced、自定义)
使用原因:误分类的代价太高;样本是高度失衡的。默认不输入None,可设置为balanced(让类库自己计算类型权重,样本量越多,权重越低),也可自己设定参数(如对于0,1的二元模型,定义class_weight={0:0.9, 1:0.1})
(5)C:正则化参数
必须是正数,值越小,正则化强度越大,防止过拟合的程度越大。
模型方法:
predict(test):返回预测值(0/1)
predict_proba(test):返回每个类别的概率值(0,1)
predict_log_proba(test):返回概率值的log值
get_params(deep=True):返回估计器的参数