LogisticRegression类的格式
sklearn.linear_model.LogisticRegression (penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’warn’, max_iter=100, multi_class=’warn’, verbose=0, warm_start=False, n_jobs=None)
重要参数penalty & C
正则化是用来防止模型过拟合的过程,常用的有L1正则化和L2正则化两种选项,分别通过在损失函数后加上参数ω向量的L1范式和L2范式的倍数来实现。这个增加的范式,被称为“正则项”,也被称为"惩罚项"。
损失函数改变,基于损失函数的最优化来求解的参数取值必然改变,以此来调节模型拟合的程度。其中L1范式表现为参数向量中的每个参数的绝对值之和,L2范数表现为参数向量中的每个参数的平方和的开方值。
J ( ω ) L 1 = C ∗ J ( ω ) + ∑ j = 1 n ∣ ω j ∣ ( j ≥ 1 ) J(\omega)_{L1}=C*J(\omega)+\sum_{j=1}^n|\omega_j|\quad (j\ge1) J(ω)L1=C∗J(ω)+j=1∑n∣ωj∣(j≥1)
J ( ω ) L 2 = C ∗ J ( ω ) + ∑ j = 1 n ∣ ω j ∣ 2 ( j ≥ 1 ) J(\omega)_{L2}=C*J(\omega)+\sqrt{\sum_{j=1}^n|\omega_j|^2}\quad (j\ge1) J(ω)L2=C∗