这篇博客主要谈谈关于过拟合和欠拟合,这是机器学习中很重要的问题。
1.什么是过拟合???
由于我自己比较清楚这个概念了,这里就放一张图。
2.学习曲线(sklearn实现)
learning curve参数说明:
train_sizes, train_scores, test_scores = learning_curve(
输入:
(estimator : 你用的分类器。
X : features
y : labels
cv : 做cross-validation的时候,数据分成的份数,其中一份作为cv集,其余n-1份作为training(默认为3份)
)
输出:(train_sizes:训练样本数
train_scores:训练集上准确率
test_scores:交叉验证集上的准确率)
# encoding:utf-8
from sklearn.model_selection import learning_curve from sklearn.datasets import load_digits from sklearn.linear_model import LogisticRegression import matplotlib.pyplot as plt import numpy as np digits = load_digits() X = digits.data y = digits.target LR = LogisticRegression() train_sizes, train_scores, test_scores= learning_curve( LR, X, y, cv=10, train_sizes=np.linspace(0.1, 1.0, 10)) train_scores_mean = np.mean(train_scores, axis=1) # 因为我们分了10份,所以有10个结果,这里我们求个平均值 test_scores_mean = np.mean(test_scores, axis=1) plt.plot(train_sizes, train_scores_mean, 'o-', color="r", label="Training") plt.plot(train_sizes, test_scores_mean, 'o-', color="g", label="Cross-validation") plt.xlabel("Training examples") plt.ylabel("scores") plt.show()
结果:
这样我们就画出了一条学习曲线了。
to be continued...