![3629157-d2299c5895c77d3c.png](https://i-blog.csdnimg.cn/blog_migrate/ebd9afa1ca899ff7448044404bbcd29f.webp?x-image-process=image/format,png)
算法原理
正则化
这里补充下正则化的知识。当一个模型太复杂时,就容易过拟合,解决的办法是减少输入特征的个数,或者获取更多的训练样本。正则化也是用来解决模型过拟合的一种方法。常用的有L1和L2范数做为正则化项。
- L1范数
L1范数作为正则化项,会让模型参数θ稀疏话,就是让模型参数向量里为0的元素尽量多。L1就是在成本函数后加入:
![3629157-23b806424ddd7baa.png](https://i-blog.csdnimg.cn/blog_migrate/04918dd0560eff4e0193448186a553f7.webp?x-image-process=image/format,png)
- L2范数
而L2范数作为正则化项,则是让模型参数尽量小,但不会为0,即尽量让每个特征对预测值都有一些小的贡献。L2就是在成本函数后加入:
![3629157-5ff9e73111c19e5e.png](https://i-blog.csdnimg.cn/blog_migrate/5f56bf2842b2bee20e136e4ec3db0e19.webp?x-image-process=image/format,png)
实战——乳腺癌检测
数据导入
本次实战依旧是使用sklearn中的数据集,如图所示。
from sklearn.datasets import load_breast_cancer
cancer = load_breast_cancer()
print(cancer.DESCR)
![3629157-4c30cbc1bb44b7f0.png](https://i-blog.csdnimg.cn/blog_migrate/2a6d5ee363f6c1982b06625b11f1bf52.webp?x-image-process=image/format,png)
切分数据集
X = cancer.data
y = cancer.target
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=33)
模型训练与评估
逻辑回归算法使用sklearn.linear_model 模块中的LogisticRegression方法。常用的参数如下:
- penalty:设置正则化项,其取值为'l1'或'l2',默认为'l2'。
- C:正则化强度,C越大,权重越小。
from sklearn.linear_model import LogisticRegression
model = LogisticRegression()
model.fit(X_train, y_train)
model.score(X_test, y_test)
# result
# 0.94736842105263153
我们换为L1范数:
model2 = LogisticRegression(penalty='l1')
model2.fit(X_train, y_train)
model2.score(X_test, y_test)
# result
# 0.95614035087719296
这里查看模型的参数,发现确实有很多特征的参数为0。
![3629157-d3bb289c51b7651c.png](https://i-blog.csdnimg.cn/blog_migrate/6073c2d5dfebfdaffe671c9490a16cd4.webp?x-image-process=image/format,png)