Logistic回归的目标函数
Logistic回归的损失函数采用Logistic损失/交叉熵损失:
其中y为真值,为预测值为1的概率。
同其他机器学习模型一样,Logistic回归的目标函数也包括两项:
训练集上的损失和+正则项
类似回归人物,正则项R(w)可视为L1正则、L2正则、L1正则+L2正则。
正则项
线性回归:目标函数可以不加正则项(OLS)
Logistic回归:必须加正则
当训练完全可分时,为了使logistic损失和最小(0),每个。
而,要求。
因此必须加正则,找到与训练数据拟合好的最简单模型:
L1正则:
L2正则:
Scikit-Learn中实现Logistic回归LogisticRegression也是带正则的(默认为L2正则)
class sklearn.linear_model.LogisticRegression(penalty=’l2’, dual=False,
tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None,
random_state=None, solver=’liblinear’ , max_iter=100,
multi_class=’ovr’ , verbose=0, warm_start=False, n_jobs=1)
实现的目标函数为: