机器学习基本概念 过拟合和欠拟合

这篇博客主要谈谈关于过拟合和欠拟合，这是机器学习中很重要的问题。

1.什么是过拟合？？？

由于我自己比较清楚这个概念了，这里就放一张图。

2.学习曲线(sklearn实现)

 

learning curve参数说明：

train_sizes, train_scores, test_scores = learning_curve(
输入：
    (estimator : 你用的分类器。
    X : features
    y : labels
    cv : 做cross-validation的时候，数据分成的份数，其中一份作为cv集，其余n-1份作为training(默认为3份)
    )
输出：(train_sizes:训练样本数
      train_scores:训练集上准确率
      test_scores:交叉验证集上的准确率)

 

# encoding:utf-8

from sklearn.model_selection import learning_curve from sklearn.datasets import load_digits from sklearn.linear_model import LogisticRegression import matplotlib.pyplot as plt import numpy as np digits = load_digits() X = digits.data y = digits.target LR = LogisticRegression() train_sizes, train_scores, test_scores= learning_curve( LR, X, y, cv=10, train_sizes=np.linspace(0.1, 1.0, 10)) train_scores_mean = np.mean(train_scores, axis=1) # 因为我们分了10份，所以有10个结果，这里我们求个平均值 test_scores_mean = np.mean(test_scores, axis=1) plt.plot(train_sizes, train_scores_mean, 'o-', color="r", label="Training") plt.plot(train_sizes, test_scores_mean, 'o-', color="g", label="Cross-validation") plt.xlabel("Training examples") plt.ylabel("scores") plt.show() 

 

结果：

这样我们就画出了一条学习曲线了。

to be continued...