3.1.3 训练/开发/测试集的问题以及注意事项

最新推荐文章于 2024-07-30 10:36:36 发布
最新推荐文章于 2024-07-30 10:36:36 发布
阅读量605 收藏 1
点赞数 1
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Einstellung/article/details/80138199
版权
机器学习中，训练集用于训练模型，开发集（又称开发验证集）用于评估不同思路并选择最佳，而测试集则在最终评估模型性能。数据集划分要遵循同一分布原则，确保数据均匀分布。开发集和测试集大小需合适，当对现有误差指标不满意时，可调整开发/测试集或设计新指标。
摘要由CSDN通过智能技术生成

训练/开发/测试集划分

开发集我们称之为development set，有时候也称之为保留交叉验证集。机器学习的流程是，你尝试很多的思想，然后用训练集训练不同的模型，使用开发集来评估不同的思路，选择一个，之后不断迭代去改善开发集的性能，直到最后你可以得到一个令你满意的成本，之后用测试集去评估。

数据集和测试集的划分一个非常非常重要的原则就是一定满足同一分布。

这里写图片描述

如图所示，如果我们要8个不同国家，最好不要四个国家划分为一组，而是把数据全部打散，均匀的划分。

不要花很多时间来瞄准一个目标，针对靶心不断优化，然后等到测试的时候说，我们用其他靶来测试。

开发集和测试集的大小

这里写图片描述

这里写图片描述

什么时候该改变开发/测试集和指标

最低0.47元/天 解锁文章
Einstellung
关注
专栏目录
AI技术概览以及各自领域的应用场景
程序员光剑
09-04 2180
作者：禅与计算机程序设计艺术 1.简介 在这个时代，由于智能手机的普及，数据量的飞速增长，以及基于云端计算的技术的应用，使得传统的数据分析方法已经不能满足大规模数据的需求。近年来人工智能（AI）技术的发展以及强大的算力和资源支持，让越来越多的人摆脱了数据分析的束缚，开始尝试使用机器学习、深度学习等AI技
第一篇：机器学习入门：如何从零开始构建一个监督学习模型？
程序员光剑
08-10 96
1.1 什么是机器学习？1.1.1 机器学习是关于计算机所做的一些任务，使计算机能够自动获取并运用经验从而改善自身性能的科学研究领域。1.1.2 在机器学习中，系统通过应用已知数据集对输入数据进行预测或推断，从而对未知数据产生更好的预测或决策。1.1.3 有监督学习、无监督学习、半监督学习、强化学习都属于机器学习的不同子领域。1.1.4 当数据量不足时，可以通过采样的方法来降低数据量，以训练出模型。
1.1 训练_开发_测试集
Claroja
12-31 207
在最初的时候我们会有一个idea，别如有多少个隐藏层，有几个单元等等，然后尝试并运行这些代码，然后不断的调整。 自然语言，计算机视觉，语音，结构化数据（结构化数据无所不包，广告，电商，物流，计算机安全） 机器学习之初，常见的做法是将所有的数据三七分，或者6分训练集，2分验证集和2分测试集来划分 验证集就是检验哪种算法更有效，因此验证集要足够大才能评估，比如有2个或10个算法，迅速判断出哪种算法更有...
1.1 训练/开发/测试集
weixin_30721899的博客
04-04 183
　　在配置训练、验证和测试数据集的过程中做出正确决策会在很大程度上帮助大家创建高效的神经网络。在训练神经网络时，我们需要做出很多决策，比如，神经网络分多少层，每层含有多少个隐藏单元，学习率是多少，各层采用哪些激活函数。创建新应用的过程中，我们不可能从一开始就准确预测出这些信息，和其他超参数。实际上，应用机器学习是一个高度迭代的过程，通常在项目启动是，我们会先有一个初步想法，比如构建一个含有特定层数...
机器学习策略篇：详解训练/开发/测试集划分（Train/dev/test distributions）
最新发布
bugyinyin的博客
07-30 474
设立训练集，开发集和测试集的方式大大影响了或者团队在建立机器学习应用方面取得进展的速度。同样的团队，即使是大公司里的团队，在设立这些数据集的方式，真的会让团队的进展变慢而不是加快，看看应该如何设立这些数据集，让团队效率最大化。
pytorch训练/测试注意事项
gwawhj的博客
07-26 220
内存不断增长导致killed 首先检查代码逻辑有无问题，比如有没有出现不断增长的复杂数据结构，比如list，array，dict等等。 torch新老代码不兼容 比如在老版本的torch中，将tensor从gpu转到cpu是这样的 tensor.data.cpu().numpy() 但是在新版本中是 tensor.cpu().detach().numpy() 老版本中让tensor不受梯度的影响 tensor = Variable(tensor.cuda(), volatile=Tr
深度学习第五课-训练注意事项与框架使用
约定的博客
05-28 1865
说明：本文是七月算法5月深度学习班第五次课听课笔记。黄色标注的部分为自己不太确定的部分。 训练 mini-batch SGD 神经网络使用mini-batch SGD训练得到最优权重。训练过程如下：（以下参考了andrew ng的机器学习课程） 例如训练样本量m=3200，mini-batch 每次取32张 for  i = 1,33,65,... 从i
【数据集划分宝典】：打造完美训练集、测试集和验证集的秘诀
[【数据集划分宝典】：打造完美训练集、测试集和验证集的秘诀](https://media.geeksforgeeks.org/wp-content/uploads/20230131183520/Test-plan-components.png) # 1. 数据集划分的重要性与原则 在构建机器学习模型...
PyTorch 的并行计算——PyTorch 中文文档
程序员光剑
08-09 1410
近年来，随着深度学习模型规模和数据集的不断增长，训练时间成为了制约模型性能提升的关键因素。为了加速模型训练，并行计算技术应运而生，并逐渐成为深度学习领域的研究热点。PyTorch 作为一款流行的深度学习框架，提供了丰富的并行计算功能，可以帮助开发者轻松实现模型的并行训练，从而大幅缩短训练时间。实现数据并行，将模型复制到多个 GPU 上，并将数据分发到不同的 GPU 进行计算。实现分布式训练，支持多种后端，如 MPI、Gloo 和 NCCL。
打分类型数据集 STS-B 中文数据集
07-22
英文打分数据集STS-B的部分中文翻译
创建机器学习项目的注意事项
lankuohsing的博客
06-25 419
1. Orthogonalization(正交化) 2. 使用单一的量化评价指标 2.1. 状态与决策 2.2. 状态与决策的组合 2.3. 评价指标 2.3. 关于train/dec/test set 2.4. 与人类表现比较 3. 错误分析 4. train set和dev/test set不匹配的问题 5. 从多个任务中学习 6. 端到端（end-to-end)学习 ...
deeplearning中的train set（训练集），development set（开发集） ，test set（测试集）的区别
热门推荐
l8947943的博客
05-15 1万+
training set：训练集是用来训练模型的。遵循训练集大，开发，测试集小的特点，占了所有数据的绝大部分。development set：用来对训练集训练出来的模型进行测试，通过测试结果来不断地优化模型。test set：在训练结束后，对训练出的模型进行一次最终的评估所用的数据集。注意：          所有数据之间都应该属于同分布，才能进行训练测试，如果不同分布，则不能进行训练测试...
机器学习：样本集、验证集（开发集）、测试集
weixin_34379433的博客
07-22 4238
样本集、验证集（开发集）、测试集。 Ripley, B.D（1996）在他的经典专著Pattern Recognition and Neural Networks中给出了这三个词的定义。 Training set: A set of examples used for learning, which is to fit the parameters [i.e., weights] of the...
Paper Reading: STS-B
Felaim的博客
05-31 2361
Paper Reading: STS-B 1. 引言 论文全名为：SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Cross-lingual Focused Evaluation STS是什么？Semantic Textual Similarity (STS) ，用来表示句子意义的相似性。 主要有哪些应用呢？包括机器翻译（machine translation， MT）,总结归纳（summarization），生成（gene
开发集和测试集
Json111的博客
01-26 560
被选择作为开发集和测试集的数据，应当与你未来计划获取并对其进行良好处理的数据有着相同的分布，而不一定和训练集的数据分布一致。 开发集和测试集的分布应当尽可能一致。 为你的团队选择一个单值评估指标进行优化。当需要考虑多项目标时，不妨将它们整合到一个表达式里（比如对多个误差指标取平均），或者设定满意度指标和优化指标。 机器学习是一个高度迭代的过程：在出现最终令人满意的方案之前，你可能要尝试很多想法。 拥有开发集、测试集和单值评估指标可以帮助你快速评估一个算法，从而加速迭代进程。 当你要探索一个全新的应用时，尽.
机器学习中训练集、验证集(开发集)、测试集的定义及其划分
qq_41853758的博客
09-24 5413
这三者是在进行一个机器学习项目中非常重要的内容。它们的确定往往决定了这个项目的走向。错误的训练集、开发集和测试集的划分很可能会让一个团队浪费数月时间。 training set：顾名思义，是用来训练模型的。因此它占了所有数据的绝大部分。 development set(validation set)：用来对训练集训练出来的模型进行测试，对训练出的模型的超参数进行调整，不断地优化模型，。 te...
5. Your development and test sets 你的开发集和测试集（《MACHINE LEARNING YEARNING》翻译）
NodYoung
12-09 4497
下面几个（5~12）章节将主要介绍 Setting up development and test sets 建立开发集和测试集你的开发集和测试集让我们回到之前关于猫的图片的例子：你制作了一个移动APP，用户可以上传很多不同事物的图片到你的app上，你想要自动发现关于猫的图片。你的团队从不同的网站下载大量猫（正样本，positive examples）和非猫(负样本，negative examp
ERROR: /usr/local/src/hadoop-3.1.3//bin/java is not executable.
09-04
3. 如果执行权限不正确，可以使用 `chmod +x /usr/local/src/hadoop-3.1.3//bin/java` 命令来为该文件添加可执行权限。 4. 如果问题还未解决，请确认路径是否正确，特别是双斜杠 `//` 是否引起了问题。使用 `ls -l ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Einstellung

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值