数据集的划分

最新推荐文章于 2024-08-04 02:35:58 发布

weixin_30843605

最新推荐文章于 2024-08-04 02:35:58 发布

阅读量3.5k

点赞数 3

文章标签：人工智能大数据

原文链接：http://www.cnblogs.com/xxxxxxxxx/p/10987366.html

版权

在机器学习中，数据集通常划分为训练集、验证集和测试集，用于模型训练、选择和评估。留出法、交叉验证法和自助法是常见的划分方法。留出法适用于数据量较小的情况；交叉验证法能更充分地利用数据，但计算成本高；自助法在数据不足时提供多个训练集，但可能导致数据分布偏斜。

摘要由CSDN通过智能技术生成

在机器学习算法中，我们通常将原始数据集划分为三个部分（划分要尽可能保持数据分布的一致性）：

（1）Training set（测试集）: 训练模型

（2）Validation set（验证集）： 选择模型

（3）Testing set（测试集）： 评估模型

其中Validation set的作用是用来避免过拟合的。在训练过程中，我们通常用它来确定一些超参数（例：根据Validation set的accuracy来确定early stoping的epoch大小，根据Validation set确定learning rate等等）。之所以不用Testing set，是因为随着训练的进行，网络会慢慢过拟合测试集，导致最后的Testing set没有参考意义。因此Training set用来计算梯度更新权重，即训练模型，Validation set用来做模型选择，Testing set则给出一个accuracy以判断网络性能的好坏。

数据集的划分通常有三种方法：

（1）留出法（Hold-out）

将数据集\(D\)划分为两个互斥的集合，其中一个集合作为训练集