还在用交叉验证？试试Kaggle大牛们常用的方法——对抗验证

最新推荐文章于 2023-04-10 21:46:50 发布
最新推荐文章于 2023-04-10 21:46:50 发布
阅读量3.9k 收藏 26
点赞数 4
文章标签： 机器学习 数据科学 交叉验证 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43807159/article/details/89737383
版权
本文探讨了在样本分布变化时，交叉验证的局限性，并介绍了对抗验证的概念，以及在分布变化时优于交叉验证的三种方法：人工划分验证集、选择最相似样本作为验证集和有权重的交叉验证。通过实例分析，展示了这些方法在评估模型效果方面的优势。
摘要由CSDN通过智能技术生成

交叉验证（Cross Validation）是常用的一种用来评估模型效果的方法。

当样本分布发生变化时，交叉验证无法准确评估模型在测试集上的效果，这导致模型在测试集上的效果远低于训练集。

通过本文，你将通过一个kaggle的比赛实例了解到，样本分布变化如何影响建模，如何通过对抗验证辨别样本的分布变化，以及有哪些应对方法。

本篇文章完整代码:
https://github.com/Qiuyan918/Adversarial_Validation_Case_Study/blob/master/Adversarial_Validation.ipynb

目录

  • 什么是样本分布变化
  • 为什么样本分布变化的时候，交叉验证不适用？
  • 什么是对抗验证？
  • 分布变化时，有哪些优于交叉验证的方法？
  • Kaggle比赛实例（lightgbm模型；Python）

1 什么是「样本分布变化」？

在真实的业务场景中，我们经常会遇到「样本分布变化」的问题。

主要体现在训练集和测试集的分布存在的差异。比如，在化妆品或者医美市场，男性的比例越来越多。基于过去的数据构建的模型，渐渐不适用于现在。

2 为什么「样本分布变化」的时候，交叉验证不适用？

当我们要做一个模型

最低0.47元/天 解锁文章
机器学习小站
关注
数据挖掘竞赛黑科技——对抗验证（Adversarial validation）
Marcus-Bao的个人主页
04-24 1718
通常情况下，我们一般都会使用交叉验证来作为评估模型的标准，来选择我们最后的模型。但是在一些数据挖掘竞赛中，数据集一般分为训练集合测试集，国内比赛可能根据比赛阶段划分多个测试集，由于数据集采样和分布的原因导致训练集和线上测试集可能存在分布不一致的情况，这时候CV无法准确的评估模型在测试集上的效果，导致线上线下不统一，分数上不去。而缓解这一问题的黑科技，就是对抗验证Adversarial valida...
提高机器学习模型准确率的八大方法
11-28 1万+
想要提高模型的性能有时会是一件难度不小的事情。如果你也遇到过类似的情况，相信一定会认同我这一看法。在一一尝试毕生所学的对策和算法之后，依然没能够提高模型的准确率，这时，一种陷入困境的无助感就会涌上心头。事实上，百分之九十的数据科学家就是在这一阶段选择了放弃。但是，好戏这才开始！正是这一点划清了平凡的数据科学家与非凡的数据科学家的界限。你是不是也梦想着成为一名卓越的数据科学家呢？如果是的话，你就需要有
交叉验证
热门推荐
xywlpo的专栏
06-08 4万+
交叉验证（Cross validation)，有时亦称循环估计， 是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析， 而其它子集则用来做后续对此分析的确认及验证。 一开始的子集被称为训练集。而其它的子集则被称为验证集或测试集。交叉验证是一种评估统计分析、机器学习算法对独立于训练数据的数据集的泛化能力（generalize），交叉验证一般要尽量满足：
Adversarial validation
Greeksilverfir的博客
12-04 2695
title: Adversarial validation mathjax: false date: 2018-07-10 23:27:08 categories: - kaggle tags: - kaggle 之前参加了kaggle的Toxic比赛，名次为Top1%（瞎打，忙于项目——提不上去的理由了，安慰自己）。回头看别人分享的kernel时，发现了Adversarial validati...
机器学习中的对抗验证
qq_39783265的博客
03-13 2267
对抗验证 交叉验证（Cross Validation）是常用的一种用来评估模型效果的方法。 当样本分布发生变化时，交叉验证无法准确评估模型在测试集上的效果，这导致模型在测试集上的效果远低于训练集。 通过本文，你将通过一个kaggle的比赛实例了解到，样本分布变化如何影响建模，如何通过对抗验证辨别样本的分布变化，以及有哪些应对方法。 直接给链接：https://zhuanlan.zhihu.com/...
【数据挖掘比赛】之 Adversarial validation
zc_stats的博客
11-12 950
Adversarial validation 数据挖掘比赛，一般都分为train（线下）和test（线上），test一般分为A榜和B榜。所以，做模型的时候首先要考虑的是train和test的分布是不是一致，保证分布的一致，是做模型的前提咯。不然，线下好的很，线上也是各种蹦，线上线下不一致。其次，要trust local cv， 线上显示的A榜只是具有一点点的参考性，千万不要一味地被A榜的分数牵着...
Kaggle上分技巧——单模K折交叉验证训练+多模型融合
fengjiandaxia的博客
02-23 6808
一、K折交叉验证训练单个模型 1.1 k 折交叉验证（K-Fold Cross Validation）原理 通过对 k 个不同分组训练的结果进行平均来减少方差，因此模型的性能对数据的划分就不那么敏感，经过多次划分数据集，大大降低了结果的偶然性，从而提高了模型的准确性。具体做法如下： step1:不重复抽样将原始数据随机分为 k 份。 step2:每一次挑选其中 1 份作为验证集，剩余 k-1 份作为训练集用于模型训练。一共训练k个模型。 step3：在每个训练集上训练后得到一个模型，用这个模型在测试集上测
Kaggle Titanic Challenges 生存预测 数据预处理 模型训练 交叉验证 步骤详细解析
清水河C罗——Leonardo-Liu
03-18 2138
本博客所有内容均整理自《Hands-On Machine Learning with Scikit-Learn & TensorFlow》一书及其GitHub源码。 看《Hands-On》一书至第三章，习题里面后两题是实际操作的编程题，自己初步动手效果不错，特此记录一下。 运行环境：Jupyter Notebook 语言：Python3.6.4 0、题目描述 Kaggle的Tita...
Kaggle：癫痫发作预测 MATLAB 解决方案——LASSO GLM 方法：使用 MATLAB 完成 Kaggle 癫痫发作预测竞赛的起始代码-matlab开发
06-01
它建立在之前 Kaggle 癫痫发作比赛 ( https://www.kaggle.com/c/seizure-prediction ) 的获胜解决方案 ( https://github.com/drewabbot/kaggle-seizure-prediction ) 上，使用 lassoGLM统计和机器学习工具箱中的...
Kaggle：癫痫发作预测 MATLAB 解决方案——自动编码器方法：使用 MATLAB 完成 Kaggle 癫痫发作预测竞赛的起始代码-matlab开发
05-29
它建立在使用神经网络工具箱中的自动编码器和神经网络的基础上。 压缩文件包含： 1. autoencoder_train.m, 使用自动编码器构建深度网络的脚本，如以下示例中所述： ...
Kolmogorov-Smirnov 和Adversarial Validation
weixin_43288596的博客
03-23 156
目的：判断test和train分布是否相同，由此判断交叉验证是否能满足要求。 方法：train和test数据和在一起，train标记为0.test标记为1。 训练一个分类器，如果该分类器可以很好的将test和train分开，说明train和test分布差异较大。 如果分类器不能很好的将train和test分开（auc=0.5），说明train和test分...
【Python】对抗验证
最新发布
烦成航的博客
04-10 627
【代码】【Python】对抗验证。
你还在用交叉验证吗？ 大神都开始用对抗验证（Adversarial validation）了
caoyuan666的博客
05-19 3961
你还在用交叉验证吗？之前我是这么想的，交叉验证可以保证训练集和测试集都是随机选举，但是是否考虑过这样划分的数据集有可能特征分布不均匀？这样怎么能训练出高效的模型呢？ 今天忽然发现了对抗验证，分享一下： 文章目录1、传统方法1.1 直接划分1.2 LOOCV1.3 k折交叉验证2 对抗验证2.1 样本分布不均匀2.2 何时样本分布均匀？2.3 什么是对抗验证（Adversarial Validation）？2.4 步骤2.5 实战 1、传统方法 在机器学习里，通常来说我们不能将全部用于数据训练模型，否则我.
Adversarial Validation 微软恶意代码比赛的一个kenel的解析
雨化于画
07-29 847
英文文档链接
2022年Kaggle竞赛：常见交叉验证陷阱及策略
总结，这篇文档详述了在使用交叉验证时需要避免的陷阱，包括如何合理选择K值、确保数据分布的一致性，以及针对不同类型数据进行适当的划分。理解和避免这些错误对于提高机器学习模型的准确性和可靠性至关重要。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值