#通俗理解# 测试集、训练集、开发集的区别

最新推荐文章于 2021-07-07 17:22:19 发布
最新推荐文章于 2021-07-07 17:22:19 发布
阅读量792 收藏 2
点赞数 1
分类专栏： 深度学习 机器学习 文章标签： 测试集 训练集 开发集 超参数 区别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lch551218/article/details/116160324
版权

训练集train：用于训练模型
开发集dev： 用于优化模型的超参数
测试集test：用于最终测试模型性能

实际场景中，需要进行不断调整模型的超参数（例如学习率）进行多次训练，每次训练使用训练集训练模型，使用开发集评估模型的性能；最终将超参数最优的模型放在测试集上评估模型的最终性能。

energy_百分百
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
集线器、交换机和路由器通俗点的解释
10-01
主要介绍了集线器、交换机和路由器通俗点的解释,变压器就像路由器，插座就像交换机,需要的朋友可以参考下
组织图像肿瘤分类数据集
06-09
利用机器学习来更有效地分类组织图像(通俗地说，这些是人类的图像显微镜下的组织)。这些图像通常由病理学家分析，并将每张图像分配给四张中的一张可能的类。0级表示无肿瘤，1-3级表示有肿瘤，每级这些表明了一种不同类型的肿瘤。有三个文件夹： X train.npy, y train.npy and X test.npy. 训练数据集由858幅高分辨率图像组成，每幅图像(即本问题中的xi)的维数为1024 × 1024 × 3。测试数据集由287幅与训练数据集相同维数的图像组成，你可以提交你对这些图像的预测，
1. 训练集、开发集、测试集（Train/Dev/Test sets）
luoying_1993的专栏
02-13 2万+
1.在以往的机器学习中 如上图所示，以往机器学习中，对训练集、开发集、测试集的划分比例为60/20/20，如此划分通常可以获得较好的效果。 训练集（training set）：训练算法。 开发集（development set）：调整参数、选择特征，以及对学习算法作出其它决定。 测试集（test set）：开发集中选出的最优的模型在测试集上进行评估。不会据此改变学习算法或参数。 2....
机器学习训练集/开发集/测试集挑选
深挖技术点滴
06-11 998
在实际应用领域，一般将数据集分成三块，训练集：用来训练算法；开发集：用来进行特征选择或者调参；测试集：用来检测算法的表现，因此测试集应该能够反映和包含现实的真正数据分布，而不是假设分布。在实际算法迭代过程中，我们最后希望得到的结果是算法在测试集上表现的非常优秀；但是，最近读吴恩达老师的笔记：有时可能我们需要决定投资多少去获取好的开发集和测试集。切记不要假定你的训练集分布和测试集分布必须是一样的。尝...
训练集测试集开发集的不同
ASKCOS博客
03-21 456
整个工作流程是首先你不停地用训练集来训练你的算法 然后用你的开发集或说hold-out交叉验证集来测试 许多不同的模型里哪一个在开发集上效果最好 当这个过程进行的时间够长之后 你可能想评估一下你最终的训练结果 你可以用测试集对结果中最好的模型进行评估 ...
开发集和测试集
Jadelyw的博客
07-23 3215
1.1 数据同分布 当我们训练完成一个分类器，并想把它应用到实践的，可能遇到在训练的过程中效果很好，但是在实践的过程中效果非常差，这种情况说明我们训练分类器的数据集的分布和我们实践过程的数据的分布不同，导致算法的泛化能力很差。 开发集和测试集数据分布不同将会导致开发的系统在开发集上表现良好，但在测试集上却表现不佳。这种情况下解决方案就不那么明确了，此时可能存在以下一种或者多种情况： 1. 在...
机器学习中训练集、验证集(开发集)、测试集的定义及其划分
qq_41853758的博客
09-24 5159
这三者是在进行一个机器学习项目中非常重要的内容。它们的确定往往决定了这个项目的走向。错误的训练集、开发集和测试集的划分很可能会让一个团队浪费数月时间。 training set：顾名思义，是用来训练模型的。因此它占了所有数据的绝大部分。 development set(validation set)：用来对训练集训练出来的模型进行测试，对训练出的模型的超参数进行调整，不断地优化模型，。 te...
deeplearning中的train set（训练集），development set（开发集） ，test set（测试集）的区别
l8947943的博客
05-15 1万+
training set：训练集是用来训练模型的。遵循训练集大，开发，测试集小的特点，占了所有数据的绝大部分。development set：用来对训练集训练出来的模型进行测试，通过测试结果来不断地优化模型。test set：在训练结束后，对训练出的模型进行一次最终的评估所用的数据集。注意：          所有数据之间都应该属于同分布，才能进行训练测试，如果不同分布，则不能进行训练测试...
设置开发集的必要性、偏差、方差
qq_41202069的博客
05-29 450
这里写自定义目录标题训练集、开发集（验证集）、测试集开发集与测试集应尽量是同分布的 训练集、开发集（验证集）、测试集 通过不断开设新的数据集来逐渐减轻过拟合的程度 开发集：寻找好的超参数，模拟测试集防止模型过拟合训练集。 开发集（重要性）：作用在于模拟测试集，而测试集的最大特点就是未知，即在训练过程中是见不到的。正因为开发集和测试集在训练过程中都是未知的，你才可以说，如果你的超参数适用于验证集，那么它们也大概会适用于测试集。 开发集与测试集应尽量是同分布的 当我们训练完成一个分类器，并想把它应用到实践的，可
风格变换用Cycle GAN跑自己的数据集 code+训练教程+论文
最新发布
09-28
CycleGAN的一个重要应用领域是Domain Adaptation（域迁移：可以通俗的理解为画风迁移），比如可以把一张普通的风景照变化成梵高化作，或者将游戏画面变化成真实世界画面等等。 CycleGAN特点就是通过一个循环，首先将...
敏捷开发之通俗理解
12-29
敏捷开发被说了很久了，一直没看到能通俗地，从基础理论上说明敏捷的特点的文章，这里总结了一下，希望能浅显易懂地说明何为敏捷。
《Python神经网络编程》与配套MNIST手写数据集
09-22
文章内容：第一章用文字与极简的数学式阐述神经网络的工作原理与关键点，第二章逐步搭建完整的神经网络，以MNIST手写数据集为例，完善神经网络代码，进行训练与传递的实际演示。 ----------------------------------...
通俗理解 什么是量纲
热门推荐
lch551218的博客
02-02 4万+
首先先介绍一下量纲和单位的区别，长度，时间，质量等都叫做量纲，而米，千米，秒，分钟，等都是单位， 国际单位制规定了七个基本量纲单位，这七个量纲彼此之间不能通过量纲计算得到，分别是： 量纲 量纲符号 单位名称 单位符号 长度 L 米 m 质量 M 千克 kg 时间 T 秒 s 电流 I 安培 A 热力学温度 K 开尔文 K 发光强度 I（Iv） 坎德拉 cd 物质的量 n（ν） 摩（摩尔） mol 通过以上基本量纲计算的到量纲都属于导出量纲，量纲用 [ ]表示，如速
Z检验、T检验下 P-value 和置信区间的计算
lch551218的博客
07-07 1万+
目录 1.置信区间的计算 1.1 总体方差已知 1.2总体方差未知 2.计算 P-Value 2.1 总体方差已知 2.2总体方差未知 1.置信区间的计算 根据总体分布（T分布或者Z分布）和规定的置信度计算总体均值在指定置信度下的置信区间，然后将实验值和置信区间比较，若在置信区间之外（小概率事件发生）则表示实验统计量和总体统计量存在显著差异 1.1 总体方差已知 总体方差已知时，根据总体均值和方差，使用Z分布计算置信区间，公式如下： 其中： 表示样本均值 表...
#深入探究# Adam和SGDM优化器的对比
lch551218的博客
06-07 1万+
1. Adma 和 MSGD Adam和MSGD作为当今最优秀的两种深度学习优化器，分别在效率和精度上有着各自的优势，下面我们将分析两种优化器各自优势的原因，两边的两张图分别是 几种常见的优化器在猫狗分类数据集上的分类准确率曲线，第一个是训练集，第二个是测试集 以下两张图是某个NLP任务中，几种模型的准确率和困惑度指标变换曲线 通过上边两幅图片可知： Adma在训练集上的准确率较高，MSGD在测试集上的准确率较高 Adma的速度更快，但MSGD能够得到好的效果 第一个结论可以用下边这个图来解释：
pandas中使用fillna函数填充NaN值
lch551218的博客
02-09 1万+
1. 参数解析 1.1 inplace参数 取值：True、False True：直接修改原对象 False：创建一个副本，修改副本，原对象不变（缺省默认） 1.2 method参数 取值 ： {‘pad’, ‘ffill’,‘backfill’, ‘bfill’, None}, default None pad/ffill：用前一个非缺失值去填充该缺失值 backfill/bfill：用下一个非缺失值填充该缺失值 None：指定一个值去替换缺失值（缺省默认这种方式） 1.3 limit参数： 限制
从根本上理解 机器学习中真实值、观测值、预测值的区别
lch551218的博客
02-02 1万+
真实值表示真实世界中的数据（总体） 观测值表示机器学习模型的样本数据（样本），但不一定是真实世界中的数据（可以来自真实世界） 预测值表示学习模型预测出的数据 我们要用预测值训练机器学习算法，然后用模型得到的预测值去预测真实世界的数据 ...
通俗理解 Adam 优化器
lch551218的博客
05-17 9799
Adma的公式如下，这里我们主要分析红色的标记的这4行公式： 公式1、2分别计算 历史梯度的一阶指数平均 和 历史梯度平方的一阶指数平均 ，公式3是计算变量更新值，由公式3可知，变量更新值正比于历史梯度的一阶指数平均值，反比于历史梯度平方的一阶指数平均值； 历史梯度的一阶指数平均值 历史梯度的一阶指数平均可以理解为求历史梯度的加权平均，距离当前时刻距离越远权重越小 如果变量在某一维度更新时，梯度存在较大震荡（梯度更新值正负交替），那么得到的历史梯度的一阶指数平均值通过正负抵消会得到一个较小的值； 如果变量
通俗理解MySQL函数依赖集闭包和属性闭包
06-10
在MySQL中，函数依赖集表示一个或多个属性的值可以决定另一个属性的值。例如，如果我们有一个关系模式包含学生的ID、姓名、年龄和班级，那么ID和姓名的值可以决定同一学生的年龄和班级，因此存在ID、姓名->年龄、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

energy_百分百

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值