【动手学深度学习】模型选择＋过拟合和欠拟合+权重衰退

学习参考：

11 模型选择 + 过拟合和欠拟合【动手学深度学习v2】_哔哩哔哩_bilibili

1 模型选择

训练误差是模型在训练数据集上的误差，训练误差小表示模型在训练数据集上表现得好

泛化误差是模型在新数据上的误差，泛化误差小才是真的好

1.1 数据集的划分

训练集：（训练模型参数）用来训练模型的数据集

验证集：（选择模型超参数）用来评估模型的数据集，借助模型在验证集上的表现来调参，可以多次使用

测试集：模型实际应用时碰到的数据，只用一次

1.2 k-折交叉验证

非大数据集不容易单独划分出验证集，通常使用k折交叉验证的方法来训练和评估模型

2 过拟合和欠拟合