跟我一起学scikit-learn08：过拟合和欠拟合

过拟合：是指模型能很好地拟合训练样本，但对新数据的预测准确性很差。
欠拟合：是指模型不能很好地拟合训练样本，且对新数据的预测准确性也不好。
我们来看一个简单的例子。首先，生成一个20个点的训练样本：

%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
n_dots = 20=
x = np.linspace(0, 1, n_dots)                   # [0, 1] 之间创建 20 个点
y = np.sqrt(x) + 0.2*np.random.rand(n_dots) - 0.1

训练样本是$y=\sqrt{x}+r$，其中r是[-0.1,0.1]之间的一个随机数。
然后分别用一阶多项式、三阶多项式和十阶多项式3个模型来拟合这个数据集，得到的结果如下图所示。

def plot_polynomial_fit(x, y, order):
    p = np.poly1d(np.polyfit(x, y, order))
    # 画出拟合出来的多项式所表达的曲线以及原始的点
    t = np.linspace(0, 1, 200)
    plt.plot(x, y, 'ro', t, p(t), '-', t, np.sqrt(t), 'r--')
    return p

plt.figure(figsize=(18, 4))
titles = ['Under Fitting', 'Fitting', 'Over Fitting']
models = [None, None, None]
for index, order in enumerate([1, 3, 10]):
    plt.subplot(1, 3, index + 1)
    models[index] = plot_polynomial_fit(x, y, order)
    plt.title(titles[index], fontsize=20)

说明：图中的点是我们生成的20个训练样本；虚线是实际的模型$y=\sqrt{x}$；实线是用训练样本拟合出来的模型。
在上图中，左边是欠拟合（underfitting），也称为高偏差（high bias），因为我们试图用一条直线来拟合样本数据。右边是过拟合（overfitting），也称为高方差（high variance），用了十阶多项式来拟合数据，虽然模型对现有的数据集拟合得很好，但对新数据预测误差却很大。只有中间的模型较好地拟合了数据集，可以看到虚线和实线基本重合。
通过本节的介绍，我们对欠拟合（高偏差）和过拟合（高方差）有了较为直观地认识。