【机器学习】训练集/验证集/测试集释疑

已于 2023-10-03 14:53:54 修改
阅读量8.3k 收藏 101
点赞数 15
分类专栏： 机器学习 文章标签： 机器学习 数据集 训练集 验证集 测试集 模型评估方法
于 2023-09-30 10:52:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_35692628/article/details/133427928
版权

文章目录

序言

  • 关于数据集的一些疑问厘清

1. 训练集、验证集、测试集是什么

  • 训练集：Training Dataset. 用于训练和调整模型参数

    • 训练阶段

  • 验证集：Validation Dataset. 用于验证模型精度和调整模型超参数

    • 模型挑选阶段
    • 验证集的作用体现在训练的过程中
    • 比如：通过查看训练集和验证集的损失值随着epoch的变化关系可以看出模型是否过拟合，如果是可 以及时停止训练，然后根据情况调整模型结构和超参数，大大节省时间

  • 测试集：Test Dataset. 验证模型的泛化能力

    • 验证阶段
    • 测试集的作用体现在测试的过程中

2. 为什么需要验证集

  • 首先，划分训练集、验证集和测试集，能够避免信息泄漏
  • 模型的参数和超参，模型存在两个最优：训练集参数的最优 + 超参数的最优。如果没有验证集，假设训练好的模型在测试集上表现不好，将无法确认是模型参数过拟合/欠拟合，还是超参数设置不合理，所以需要验证集来选择超参数
  • 验证集和测试集一样，都是未知的，如果模型适用于验证集，那么也大概会适用于测试集

3. 验证集是必须的吗

  • 否
  • 训练集是练习题 + 验证集是模拟题 + 测试集是考试题
  • 训练集：调试网络参数；验证集：没有参与网络参数更新
  • 没有超参数就不需要验证集。如果不需要调整超参和early stop，就不需要验证集，把验证集并入训练集即可，但是不需要超参的模型比较少见
  • 验证集是用来选取最优超参数的
  • 在实际应用中，有可能不继续划分验证集和测试集，就相当于假设验证集和测试集分布高度相似，依次来验证开发算法的泛化性能

4. 验证集和测试集上的表现会不同吗

  • 会不会出现调优后的超参数在验证集上优秀，但在测试集上却表现不如模型超参数？
  • 一般不会，除非验证集和测试集的数据分布有明显不同

5. 如何从Train/Test Set划分Validation Set

  • 从training set中拿出一部分作为validation set，最好让validation set和test set的大小和数据分布接近。如下

6. 训练集、验证集和测试集的比例怎么设置

  • 如果有惯例，按照惯例
  • 没有的话，可以是10:1，8:2，7:3，6:4等。传统上是6:2:2，即训练集:验证集:测试集 = 6:2:2是可以的
  • 如果不需要验证集，训练集：测试集 = 8:2或7:3
  • 网上还看到两种划分比例：
    • 训练集：验证集：测试集 = 8：0.5：1.5
    • 训练集：验证集：测试集 = 7：1：2
  • 数据集划分没有明确规定，但可以参考以下原则
    • 对于小规模样本集（几万量级），常用的分配比例是 60% 训练集、20% 验证集、20% 测试集
    • 对于大规模样本集（百万级以上），只要验证集和测试集的数量足够即可。例如有 100w 条数据，那么留 1w 验证集，1w 测试集即可。1000w 的数据，同样留 1w 验证集和 1w 测试集
    • 超参数越少，或者超参数很容易调整，那么可以减少验证集的比例，更多的分配给训练集

7. 模型表现不好时测试集可以反复使用来调整模型吗

  • 如果只是调整超参数，那么重复使用测试集属于作弊
  • 如果不光调整超参、还对模型设计、训练方法做改进，可以重复使用

8. 训练集、验证集和测试集的数据是否可以有所重合

  • 数据少，又不想使用数据增强，可以使用交叉验证的方法
  • 但各数据集的数据肯定都是划分清楚的

9. 常见的机器学习模型验证方法有哪些

  • （1）留出法

    • 按照固定比例将数据集固定的划分为训练集、验证集、测试集

  • （2）k折交叉验证

    • 留出法对数据的静态划分可能得到不同的模型；k折交叉验证是一种动态验证的方法，可以降低数据划分带来的影响
    • 步骤：
      • 1）将数据集分为训练集和测试集，将测试集放在一边
      • 2）将训练集分为 k 份
      • 3）每次使用 k 份中的 1 份作为验证集，其他全部作为训练集
      • 4）通过 k 次训练后，我们得到了 k 个不同的模型
      • 5）评估 k 个模型的效果，从中挑选效果最好的超参数
      • 6）使用最优的超参数，然后将 k 份数据全部作为训练集重新训练模型，得到最终模型
      • 7）还有一种说法是，将k次loss的平均作为性能度量得到最终模型，如下图

  • （3）留一法

    • 是k折交叉法的一个变种，将k定义为n（n为样本数）
    • 一般在数据缺乏时使用，即适合于小样本的情况，优点是样本利用率高，缺点是计算繁琐
    • 每次的测试集都只有一个样本，要进行 n 次训练和预测
    • 这个方法用于训练的数据只比整体数据集少了一个样本，因此最接近原始样本的分布。但是训练复杂度增加了，因为模型的数量与原始数据样本数量相同

  • （4）自助法

    • 自助法以有放回/自助采样为基础
    • 每次随机从 D D D（样本数为m）中挑选一个样本，放入 D ′ D' D′中，然后将样本放回D中，重复m次之后，得到了包含m个样本的数据集 D ′ D' D′
    • 样本在m次采样中始终不被采到的概率是
      ( 1 − 1 m ) m (1-\frac{1}{m} )^{m} (1−m1​)m
    • 取极限得到
      lim ⁡ m → ∞ ( 1 − 1 m ) m = 1 e = 0.368 \lim_{m \to \infty} (1-\frac{1}{m} )^{m} =\frac{1}{e} =0.368 m→∞lim​(1−m1​)m=e1​=0.368
    • 即D约有 36.8 % 36.8\% 36.8%的样本未出现在 D ′ D′ D′中。于是将 D ′ D′ D′用作训练集， D D D\ D ′ D′ D′剩下的用作测试集
    • 这样，仍然使用m个训练样本，但约有1/3未出现在训练集中的样本被用作测试集
    • 这种方法优点是自助法在数据集较小、难以有效划分训练/测试集时很有用；自助法改变了初始数据集的分布，这会引入估计偏差

 

 
如有帮助，请点赞收藏支持
 

【参考文章】
训练集验证集测试集
训练集验证集测试集的通俗解释
能不能不要验证集
验证集和测试集有什么区别
常用的交叉验证技术
机器学习的验证方法
模型评估方法

created by shuaixio, 2023.09.30

shuaixio
关注
  • 15
    点赞
  • 踩
  • 101
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【ML入门系列】（一）训练集、测试集和验证集
weixin_34380296的博客
04-20 3445
训练集、验证集和测试集这三个名词在机器学习领域极其常见，但很多人并不是特别清楚，尤其是后两个经常被人混用。 在有监督(supervise)的机器学习中，数据集常被分成2~3个，即：训练集(train set)，验证集(validation set)，测试集(test set)。   Ripley, B.D（1996）在他的经典专著Pattern Recognition and Neura...
机器学习/深度学习：income数据集
07-21
总的来说，"income数据集"为机器学习和深度学习提供了一个实践平台，帮助学习者理解和掌握模型训练、验证和评估的流程。通过分析和优化模型在这个数据集上的表现，我们可以更好地理解和运用各种机器学习和深度学习...
机器学习中的训练集、验证集、测试集；交叉验证方法
chenhepg的博客
08-26 9996
@创建于：20210826 @修改于：20210826 文章目录1、数据集类型1.1 训练集1.2 验证集1.3 测试集1.4 验证集/测试集区别2、四种交叉验证方法2.1 留出法 （holdout cross validation）2.2 k 折交叉验证（k-fold cross validation）2.3 留一法（Leave one out cross validation）2.4 Bootstrap3、参考资料 1、数据集类型 数据是人工智能的基础，可以对其进行划分，以达到模型构建与训练的目的。本
训练集、验证集和测试集：区别与应用详解
慕漓的博客
03-01 700
训练集用于训练模型，验证集用于调优模型，测试集用于评估模型的性能。数据集的划分需要考虑数据的分布、样本的数量和模型的训练需求，以保证模型的有效性和可靠性。在实践中，通常会将数据集按照一定比例划分为训练集、验证集和测试集，比如常见的比例为70%训练集、15%验证集和15%测试集。
深度学习中训练集、验证集和测试集的不同作用
exlink2012的专栏
06-02 694
在深度学习中，训练集、验证集和测试集的划分对于模型的训练和评估非常重要。
训练集、验证集、测试集的作用和区别
热门推荐
02-20 1万+
一、概述 简单说，训练集就是用来训练模型用的，验证集为了验证模型的效果，测试集用来最终评测。所以基于这个，那训练数据的时候，就不要使用验证集和测试集的相关信息，包括统计均值方差特征等，但是验证集可以在模型训练过程中进行模型调参，就是手动调一些外部参数，像是epoch、learningrate、dropoutprob等。 二、详述 详细介绍下，参考：https://blog.csdn.net/ytusdc/article/details/86488537 训练集（train set）——...
机器学习/数据挖掘图像分类数据集
05-05
训练集用于教会模型识别特征，而测试集则用来验证模型的泛化能力，即模型对未见过的数据的识别准确性。 2. **训练集与测试集**： 训练集是模型学习的素材，其中的图像被用于调整模型参数，使模型能学习到猫和狗的...
小样本学习/机器学习数据集 miniimagenet
07-22
小样本学习/机器学习数据集 miniimagenet
mnist训练集+测试集-csv版本
08-03
关于标签，“测试 mnist训练集csv mnist mnist10 机器学习”指出这个数据集可以用于机器学习任务，特别是训练和评估模型识别手写数字的能力。MNIST10可能是指数据集中包含10个类别的数字（0-9）。在机器学习中，分类...
机器学习-车牌训练数据集
01-27
"训练数据集"和"测试数据集"是机器学习过程中的关键组成部分，训练数据用于构建模型，而测试数据则用于评估模型的性能和泛化能力。在这个数据集中，可能有两个部分，即"data"和"test"，分别对应训练集和测试集。 在...
Python编程、机器学习与深度学习技术
2301_78164062的博客
07-24 840
Python编程、机器学习与深度学习技术
生成对抗网络（Generative Adversarial Network，简称GAN
m0_70066267的博客
07-24 832
生成对抗网络（GAN）作为一种强大的深度学习模型，通过生成器和判别器的相互对抗进行学习，展示了在多个领域的广泛应用潜力。尽管GAN的训练过程存在不稳定性、评估困难等挑战，但随着研究的深入和技术的不断发展，相信GAN将在更多领域发挥重要作用，推动人工智能技术的进一步发展。未来，随着计算资源的不断提升和模型结构的持续优化，GAN的性能和应用范围将得到进一步提升和拓展。
特征工程在机器学习中的重要性
shiming8879的博客
07-24 1253
特征工程中的归一化和标准化操作可以将特征的取值范围映射到合适的区间内，使得不同特征之间的差异对模型的影响最小化。这样做的好处在于可以减少特征的维度，降低模型的复杂度，避免过拟合的风险，并提高模型的训练效率和预测性能。这类方法的特点是在模型训练的过程中自动地进行特征选择，不需要像过滤法那样独立于模型进行特征评估，也不像包裹法那样需要多次训练模型。在梯度提升机的训练过程中，每个弱学习器都会尝试纠正前一个学习器的错误，并在这个过程中对特征的重要性进行评估。这类方法的优点是考虑了特征之间的相互作用和模型的适应性；
人工智能与机器学习原理精解【5】
基础数学与应用数学
07-24 1029
下面内容来自文心一言的自动生成特征值分解是一种矩阵分解方法，特别适用于方阵。它能够将一个矩阵分解成特征向量和特征值的线性组合，这在数学、物理、工程及计算机科学等多个领域都有重要应用。以下是对特征值分解的详细说明，包括算法和例子。A=QΛQ−1A = QΛQ^{-1}A=QΛQ−1其中，Q是由A的特征向量构成的矩阵（每列是一个特征向量），Λ是一个对角矩阵，其对角线上的元素是A的特征值。对于实对称矩阵，Q是正交矩阵，即Q的逆等于Q的转置（QTQ^TQT），因此特征值分解可以简化为：A=QΛQTA = QΛQ^T
【机器学习】代价函数的几种误差以及代价函数的几个简单示例
m0_49243785的博客
07-24 1059
在机器学习中，代价函数（Cost Function）是一个评估模型性能的关键工具，它衡量了模型预测值与实际值之间的差异。代价函数通常用于监督学习，特别是在需要预测目标值的情况下，如回归问题或分类问题
机器学习 - 决策树
暴力扬
07-24 665
熵用于衡量数据集的不确定性，熵越高，数据的不确定性越大。节点类用于存储决策树的结构。决策树类包含构建树和预测的主要逻辑。return 0n = len(y)return ig决策树是一种强大且易于理解的机器学习算法，广泛应用于分类和回归任务。尽管决策树有一些固有的缺点，如易于过拟合和对数据扰动敏感，但通过剪枝和集成方法等技术可以有效地改进决策树的性能。理解决策树的基本原理和构建过程，并掌握其改进方法，对于在实际应用中充分发挥决策树的优势具有重要意义。
机器学习 - 随机森林降方差公式推导
暴力扬
07-24 744
在随机森林算法中，我们通过对数据集进行多次采样（有放回地抽样）并训练多个决策树模型，然后将这些模型的预测结果进行平均来得到最终的预测结果。这样做的一个重要好处是能够降低模型的方差（Variance），从而提高模型的泛化能力。这样，我们就得到了随机森林模型的方差公式，它表示为基模型方差与基模型间协方差的组合。，即随机森林模型的预测结果的方差。个基模型（决策树）的预测结果，是随机森林模型的预测结果，
线性代数|机器学习-P25线性规划和两人零和博弈
scar2016的博客
07-23 988
线性规划[LP]问题线性规划是问题为线性求最值，约束也是求线性关系的问题，具体参考线性规划学习笔记最大流-最小割问题最大流-最小割问题是一个对偶问题，具体参考最大流最小割学习笔记两人游戏-对偶问题拉格朗日乘子法拉格朗日乘子法的引入是为了解决约束条件下的最优问题，通过强对偶理论和弱对偶理论来转换目标函数，具体参考强对偶，弱对偶理论学习笔记LPmin⁡cTxstAxbx≥0xx1x2⋯xnT;
人工智能与机器学习原理精解【6】
最新发布
基础数学与应用数学
07-24 880
凹凸性定义在国内外确实存在不同，这主要体现在数学领域，特别是在函数的图像描述上。凹函数：如果对于函数f(x)在区间I上的任意两点x1和x2，以及任意λ∈(0,1)，都有fλx11−λx2≤λfx11−λfx2fλx1​1−λx2​≤λfx11−λfx2，则称f(x)是I上的凹函数。直观上看，凹函数的图像在这两点之间的部分总在连接这两点的线段的下方。凸函数：若上述不等式中的“≤”改为“≥”，即fλx11−λx。
训练集/验证集/测试集的数据划分
10-14
在机器学习中，我们通常需要将数据集划分为训练集、验证集和测试集。训练集用于训练模型，验证集用于调整模型的超参数，测试集用于评估模型的性能。 数据划分的常见方法有随机划分和分层划分。随机划分是将数据集随机分成三个部分，每个部分的样本数量可以根据需求进行调整。分层划分是根据数据集中不同类别的样本数量比例，按照一定比例将每个类别的样本分配到训练集、验证集和测试集中。 在进行数据划分时，需要注意以下几点： 1. 训练集、验证集和测试集的样本应该互不重叠。 2. 数据划分应该尽可能保持原始数据集的分布特征。 3. 数据划分应该考虑到模型的应用场景和目标。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值