Part1 模型选择1 误差与数据集
● 训练误差(training error):模型在训练集上表现出的误差。
● 泛化误差(generalization error):在任意一个测试数据样本上表现出的误差的期望。
举个栗子,训练误差就是做往届试卷(训练)的错误率,泛化误差则可以通过真正参加考试(测试)时的答题错误率来近似。机器学习模型应该关注降低泛化误差。
● 验证集(validation set): 预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集,简称验证集。
● K折交叉验证(K-fold cross-validation): 将原始训练数据集分割成K个不重复的子数据集,然后做K次模型训练和验证。每一次使用一个子数据集验证模型,并使用其他K-1个子数据集来训练模型。在这K次训练和验证中,每次用来验证模型的子数据集都不同,最后,我们对K次训练误差和验证误差分别求平均。2 过拟合与欠拟合
● 欠拟合(underfitting): 模型无法得到较低的训练误差
● 过拟合(overfitting): 模型的训练误差远小于它在测试数据集上的误差
● 模型复杂度● 训练数据集大小:影响欠拟合和过拟合的另一个重要因素时训练数据集的大小。一般来说,如果训练数据集中样本数过少,特别是比模型参数更少时,过拟合更容易发生。此外,泛化误差不会随训练数据集里的样本数量增加而增大。因此,在计算资源允许的范围之内,我们通常希望训练数据集大一些,特别是在模型复杂度较高时。
动手学深度学习笔记2
最新推荐文章于 2024-10-01 20:17:55 发布