为什么要训练数据集和测试数据集——模型的泛化能力

首先，自定义与上一节同样的数据集。
对数据进行 train test split，对测试集数据与预测数据进行均方误差分析：

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=666)

from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

lin_reg = LinearRegression()
lin_reg.fit(X_train, y_train)
y_predict = lin_reg.predict(X_test)
mean_squared_error(y_test, y_predict)

使用线性回归进行拟合的误差为：2.2199965269396573

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.preprocessing import StandardScaler

def PolynomialRegression(degree):
    return Pipeline([
        ("poly", PolynomialFeatures(degree=degree)),
        ("std_scaler", StandardScaler()),
        ("lin_reg", LinearRegression())
    ])
    
poly2_reg = PolynomialRegression(degree=2)
poly2_reg.fit(X_train, y_train)
y2_predict = poly2_reg.predict(X_test)
mean_squared_error(y_test, y2_predict)

使用 Pipeline 进行拟合，当 degree=2 ，此时误差为：0.8035641056297902
当 degree=10 ，此时误差为：0.9212930722150697
当 degree=100 ，此时误差为：13123135111.84452

结论：通过 train test split 将数据分为训练集和测试集，使用训练集进行训练，测试集（未进行训练的新数据）进行预测，这样一个模型得到的预测结果就可以检验模型的泛化能力，由结果来看，当 degree=2 时，泛化能力最好，也是最能反应数据特点的拟合效果。

模型复杂度和模型准确率的关系如上图，训练集和测试集的曲线表现不同，想要一个模型拟合的好，往往是是要寻找泛化能力最好的地方，即下图的垂直线的位置：