模型在类似Cross-Validation上测试效果不错, 但在开发测试上效果不佳?

最新推荐文章于 2022-06-10 20:14:02 发布
最新推荐文章于 2022-06-10 20:14:02 发布
阅读量368 收藏
点赞数
分类专栏： 算法的实际使用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wydbyxr/article/details/84643476
版权

模型在类似Cross-Validation上测试效果不错, 但在开发测试上效果不佳?

  • 选取的训练数据的覆盖度不够, 即数据集不具有代表性(不过完备), 不能体现真实数据的分布。
  • 模型迁移 (model drift), 随着时间的转移, 特征数据也会跟着变化。比如3个月前的模型对现在的特征可能不会有好的结果。
whitenightwu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习模型在训练集上很好而在测试集表现得不好而拟合次数并不多_机器学习中的过拟合，欠拟合和偏倚方差折衷...
weixin_39846664的博客
12-03 4402
过度拟合在机器学习中很重要。很直观的解释过拟合：假设我们现在让机器学习考试做题，想象一种情况，机器逐字记住每个问题的答案(拟合非常好-完美)。然后，我们可以在练习题上得分很高；我们这样做是基于希望实际考试中的问题与练习中的问题相同。但是，实际上，我们在用该机器在实际考试问题上的得分会非常低，因为很少有在实际考试中会出现完全相同的问题。记忆现象可能导致过度拟合。就是说我们过度地从训练集中提取了太多信...
bug：训练好的模型测试结果很差
woshixuxiran的博客
11-03 1546
继续苦逼调bug
模型训练与验证
misaka的博客
08-24 261
数据集划分通常分为训练集、线下验证集、线下测试集和线上测试集。对于无时序的数据集：简单划分、交叉验证划分等。对于有时序的数据集：需考虑时序，nested交叉验证划分等。 模型选择方面我们一句在验证集熵的效果选择，除了关注效果的均值，还要关注稳健性。对于线上效果可以将线上效果视为一折数据。参数调优方面不建议将精力放在参数调优上；容易过拟合大体的设置参数即可，例如，Xgboost，learning_rate=0.1，nround=200，max_depth=6，应将精力重点放在特征工程；其次是模型融合。 掌
paddle静态图训练，训练集和测试集效果都有很好，但验证集上效果很差
欧阳罢笔的博客
08-13 2995
在paddle静态图训练中，训练集和测试集效果都有很好，但验证集上效果很差 在paddle的训练中，如果使用这样的方式进行训练 main_program = fluid.default_main_program() cost = fluid.layers.cross_entropy(input=model, label=label) # 交叉熵损失函数 avg_cost = fluid.layers.mean(cost) acc = fluid.layers.accuracy(input=model,
《预训练周刊》第23期：Smart Bird：解决变换器性能瓶颈的新方法、Prompt：如何提升预训练模型的迁移效果...
BAAIBeijing的博客
09-07 396
No.23智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点，为了帮助研究与工程人员了解这一领域的进展和资讯，智源社区整理了第23期《预训练周刊》...
Python-使用类似Keras的模型定义来图解说明卷积神经网络CNN的Python脚本
08-11
Keras是一个高级神经网络API，它运行在TensorFlow等后端之上，简化了深度学习模型的构建过程。 首先，我们需要导入必要的库，包括Keras本身以及用于数据预处理和图像操作的库，如numpy和matplotlib。Keras提供了...
matlab开发-Predictivemodelcalibration.zip
10-05
K折交叉验证（K-Fold Cross Validation）可以确保模型在不同的数据子集上表现稳定，避免过拟合或欠拟合。MATLAB中的`crossval`和`kfoldPredict`函数可以帮助我们进行这一过程。 在压缩包的代码示例中，可能包含了...
Python-使用sklearnpytorch和keras进行mnist手写数字分类的教程
08-10
在本教程中，我们将深入探讨如何使用Python中的三个流行机器学习库——scikit-learn（简称sklearn）、PyTorch和Keras，对MNIST数据集进行手写数字分类。MNIST是机器学习领域的一个经典数据集，包含了60,000个训练...
keras入门——HelloWorld所需的训练和测试数据
03-10
测试数据的处理与训练数据类似，只是我们不更新模型参数。假设"test.txt"包含测试数据`x_test`和`y_test`，我们可以使用`evaluate`函数来计算模型在测试集上的性能： ```python loss, accuracy = model.evaluate(x_...
SourceChangeWarning：验证集上准确率很高，但是测试集上很低
studyvcmfc的专栏
06-02 1744
https://yan624.github.io/posts/cb7d01da.html
分类模型训练完之后，测试效果极差可能原因分析
胖胖大海的博客
04-13 9826
在知乎上有这样一个问题： acc很高，但预测正确的样本占比又很低，怎么回事？ - 知乎 关于这个问题，在这个问题的回答中，有许多大佬从数据的分布、模型的结构、数据集的划分，以及验证指标等层面进行了解答。 在这里按照我的理解，简单描述一下这个问题：模型训练正常，模型测试效果很差，甚至在训练集上的测试效果都很差。简单分析一下大概有以下几个方面的原因可以排查： 1、检查模型训练和模型测试的数据处理pipeline是否一致，比如训练时做了Normalize...
深度学习11个实用技巧
吴建明wujianming_110117
05-04 783
深度学习11个实用技巧 深度学习工程师George Seif发表了一篇博文，总结了7个深度学习的技巧，本文增加了几个技巧，总结了11个深度学习的技巧，主要从提高深度学习模型的准确性和速度两个角度来分析这些小技巧。在使用深度学习的时候，我们不能仅仅把它看成一个黑盒子，因为网络设计、训练过程、数据处理等很多步骤都需要精心的设计。作者分别介绍了7个非常实用小技巧：数据量、优化器选择、处理不平衡数据、迁移...
模型评估(二)
yueliang666666的博客
09-20 713
五、模型评估的方法 在样本划分和模型验证的过程中，存在着不同的抽样方法和验证方法。 1. 在模型评估过程中，有哪些主要的验证方法，他们的优缺点是什么？ Holdout检验 Holdout检验是最简单最直接的验证方法，它将原始的样本集合随机划分成训练集和验证集两部分。Holdout检验的缺点也很明显，即在验证集上计算出来的最后评估指标与原始分组有很大的关系。为了消除随机性，引入了交叉验证。 交叉验证 k-fold交叉验证：首先将全部样本划分成k个大小相等的样本子集；依次遍历这k个子集，每次把当前子集作为验证集
斯坦福大学机器学习——交叉验证（Cross Validation）
热门推荐
linkin1005的专栏
01-19 6万+
交叉验证是一种模型选择方法，其将样本的一部分用于训练，另一部分用于验证。因此不仅考虑了训练误差，同时也考虑了泛化误差。从这里可以看出机器学习、数据挖掘与传统统计学的一个重要差别：传统统计学更注重理论，追求理论的完整性和模型的精确性，在对样本建立某个特定模型后，用理论去对模型进行各种验证；而机器学习/数据挖掘则注重经验，如交叉验证，就是通过不同模型在同一样本上的误差表现好坏，来选择适合这一样本的模型，而不去纠结理论上是否严谨。
过拟合：所表现的就是模型训练误差很小，但测试误差很大，对于产生这种现象以下说法正确
weixin_46838716的博客
06-10 3399
1）样本数量太少，或者模型过分复杂，都会导致过拟合 3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。
对于机器学习中数据拟合度和模型复杂度的一些建议
kepengs的博客
11-23 8804
Advice for Applying Machine Learning   我这里想做的是，确保大家在设计机器学习系统时，能够明白怎样选择一条最合适、最正确的路径。因此，接下来我们要讨论一些实用的建议和指导，帮助大家明白怎样进行选择。 具体来说，我们将重点关注的问题是，加入我们正在开发一个机器学习系统，或者想试着改进一个机器学习系统的性能，我们应该如何决定接下来应该要做的事情。   E...
交叉验证(Cross-Validation)
Mr.Phoebe的专栏
05-24 1万+
概述交叉验证(Cross-Validation)是用于防止模型过于复杂而引起的过拟合。有时亦称循环估计， 是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析， 而其它子集则用来做后续对此分析的确认及验证。 一开始的子集被称为训练集(training set)。而其它的子集则被称为验证集(validation set)，一般与测试集区(test set)分开。交叉验证对于人
四、如何测试模型在真实数据上的表现
Nicole的博客
09-03 3193
1.对照实验。在实验中设置对照组，为了与即将进行实验的组进行对比，减少实验中一些不确定因素的影响。 将数据分成两部分，实验组和对照组，检验实验组合对照组在统计意义上是否有明显差异 2.观察性实验。在实际研究中，研究者可能无办法去控制一些影响因素，例如： （1）随机对照实验违反伦理道德。 （2）研究者无法控制因素的发生与否。 （3）在实际应用中可能由于控制因素的成本太大，也可能会采取这种方...
随机森林做cross-validation和使用OOB数据验证哪个效果更好
最新发布
03-26
一般来说，使用交叉验证（cross-validation）更可靠，因为它可以更好地评估模型的泛化能力。交叉验证可将数据集划分成多个不同的子集，每个子集都可以被用作训练集和测试集。同时，交叉验证可以通过不同的划分方式来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值