机器学习过度拟合问题一些原因[转]

转载 2016年08月29日 16:36:40

 原文请见:http://blog.sina.com.cn/s/blog_6622f5c30101bt7n.html

这几天在训练一个文本处理的机器学习算法,使用支持向量机和决策树算法在训练集上的数据的准确度特别高,但是在测试集上的数据的准确度确很低,于是陷入过度拟合的烦恼中,查找资料发现一些多度拟合的看法。仔细想想确实在训练时存在一些问题,第一:输入变量多,由于缺乏对问题的根本认识,使用了很多无关变量,这个问题打算从其它途径先认识变量和问题的关系;第二:数据的噪声可能是比较大,没有考虑到关键的特征和信息。下面的几段文字是一些关于多度拟合的认识:

过度拟合(overfitting)是指数据模型在训练集里表现非常满意,但是一旦应用到真实业务实践时,效果大打折扣;换成学术化语言描述,就是模型对样本数据拟合非常好,但是对于样本数据外的应用数据,拟合效果非常差。在我们数据分析挖掘业务实践中,就是“模型搭建时表现看上去非常好,但是应用到具体业务实践时,模型效果显著下降,包括准确率、精度、效果等等显著下降”。

我自己见识有限,目光短浅,无法穷举主要的原因和避免的方法,只能班门弄斧,抛砖引玉,说说我自己的一孔之见了,期待各位的指正和增补,我给各位献丑了。

过拟合的第一个原因,就是建模样本抽取错误,包括(但不限于)样本数量太少,抽样方法错误,抽样时没有足够正确考虑业务场景或业务特点,等等导致抽出的样本数据不能有效足够代表业务逻辑或业务场景;

过拟合的第二个原因,就是样本里的噪音数据干扰过大,大到模型过分记住了噪音特征,反而忽略了真实的输入输出间的关系;

过拟合的第三个原因,就是在决策树模型搭建中,如果我们对于决策树的生长没有合理的限制和修剪的话,决策树的自由生长有可能每片叶子里只包含单纯的事件数据(event)或非事件数据(no event),可以想象,这种决策树当然可以完美匹配(拟合)训练数据,但是一旦应用到新的业务真实数据时,效果是一塌糊涂。

过拟合的第四个原因,就是建模时的“逻辑假设”到了模型应用时已经不能成立了。任何预测模型都是在假设的基础上才可以搭建和应用的,常用的假设包括:假设历史数据可以推测未来,假设业务环节没有发生显著变化,假设建模数据与后来的应用数据是相似的,等等。如果上述假设违反了业务场景的话,根据这些假设搭建的模型当然是无法有效应用的。

过拟合的第五个原因,就是建模时使用了太多的输入变量,这跟上面第二点(噪音数据)有些类似,数据挖掘新人常常犯这个错误,自己不做分析判断,把所有的变量交给软件或者机器去“撞大运”。须知,一个稳定优良的模型一定要遵循建模输入变量“少而精”的原则的。

上面的原因都是现象,但是其本质只有一个,那就是“业务理解错误造成的”,无论是抽样,还是噪音,还是决策树,神经网络等等,如果我们对于业务背景和业务知识非常了解,非常透彻的话,一定是可以避免绝大多数过拟合现象产生的。因为在模型从确定需求,到思路讨论,到搭建,到业务应用验证,各个环节都是可以用业务敏感来防止过拟合于未然的。

入世,出世,都是一样的“道”,所谓“道”从来不离开我们半步,只是看我们自身是否足够清净,足够醒悟,足够真实而已。佛法有八万四千法门,但是这些林林总总的都是不同的方便路径,归根结底,佛法的根本只是“认识我们与生俱来的本来面目,真如自性”而已。

过拟合的产生,原因种种,不一而足,但是这种分类和剖析只是人为的方便而已,防止过拟合的终极思路就是真正透彻理解业务背景和业务逻辑,有了这个根本,我们一定可以正确抽样,一定可以发现排除噪声数据,一定可以在决策树、神经网络等算法中有效防止过拟合产生的。

当然,除了上面“业务透彻了解”这个根本外,也有一些技术层面的方法来防止过拟合的产生,虽然是“术”的层面,但是很多人热衷于这些技巧,所以,在这里也顺便列举如下:

最基本的技术手段,就是合理、有效抽样;包括分层抽样,过抽样,等等,用不同的样本去检验模型;

另外,事前准备几个不同时间窗口,不同范围的测试数据集、验证数据集,把模型在不同的数据集里分别“交叉检验”,是目前业界防止过拟合的最常用的手段了;

第三,建模时目标观测值的数量太少,如何分割训练集和验证集的比例,需要建模人员灵活掌握;

第四,如果数据太少的话,谨慎使用神经网络模型,只有足够多的数据的情况下,神经网络模型才可以有效防止过拟合的产生。并且,使用神经网络时,一定要事先有效筛选输入变量,千万不能一股脑把所有变量放进去。

说一千,道一万,上面的文字都只是文字而已,如何防止过拟合,这个最终只能靠你在实践中自己去体会,去摸索,去感觉。这个世界上,把佛法,佛学挂在嘴边的人比比皆是,少有人能真正“信、解、行、证”,所以成佛作祖在我们这个时代实在是太稀有太罕见了。我自己也惭愧至极,罗里啰嗦,胡说八道总结了这些过拟合的原因和防止对策,但是我自己又对数据挖掘实践应用了解多少呢?我又有什么资格在这里夸夸其谈呢?我这几天一直在思考“互联网行业数据化运营的桎梏”,在总结种种数据化运营效果不好的原因时,也忘记了“过拟合”这个技术层面,可见我也只会嘴上夸夸其谈,行动上没有半点功夫,我对自己充满了鄙视。

机器学习过度拟合问题一些原因

这几天在训练一个文本处理的机器学习算法,使用支持向量机和决策树算法在训练集上的数据的准确度特别高,但是在测试集上的数据的准确度确很低,于是陷入过度拟合的烦恼中,查找资料发现一些多度拟合的看法。仔细想想...
  • jiary5201314
  • jiary5201314
  • 2016年05月06日 20:45
  • 1463

机器学习中的过拟合问题以及解决方案

笔者希望该笔记能够记录每个机器学习算法的过拟合问题。 过拟合问题举例 右图在训练数据上拟合完美,但是预测第11个时候, 左图虽然拟合不完全,但是更合理;右图的-953,误差极大。 ...
  • sinat_26917383
  • sinat_26917383
  • 2016年06月08日 20:24
  • 3430

机器学习中过拟合问题分析及解决方法

机器学习中过拟合问题分析及解决方法表现:在训练集上的误差特别小,在测试集上的误差特别大。 原因:模型过于复杂,过分拟合数据噪声和outliers(离群值). 解决方法: 1、正则化。模型中添加先...
  • qq_23617681
  • qq_23617681
  • 2016年05月20日 22:31
  • 639

过拟合问题以及解决方法

一.所谓过拟合问题 为了得到一致假设而使假设变得过度复杂称为过拟合。一个过配的模型试图连误差(噪音)都去解释(而实际上噪音又是不需要解释的),导致繁华能力较差,显然过犹不及了。 A model (...
  • ff19910203
  • ff19910203
  • 2015年09月20日 21:28
  • 1686

机器学习过度拟合问题一些原因

这几天在训练一个文本处理的机器学习算法,使用支持向量机和决策树算法在训练集上的数据的准确度特别高,但是在测试集上的数据的准确度确很低,于是陷入过度拟合的烦恼中,查找资料发现一些多度拟合的看法。仔细想想...
  • guo1988kui
  • guo1988kui
  • 2017年07月13日 19:28
  • 24

机器学习过度拟合问题一些原因

这几天在训练一个文本处理的机器学习算法,使用支持向量机和决策树算法在训练集上的数据的准确度特别高,但是在测试集上的数据的准确度确很低,于是陷入过度拟合的烦恼中,查找资料发现一些多度拟合的看法。仔细想想...
  • u010867294
  • u010867294
  • 2016年03月25日 12:46
  • 354

【斯坦福---机器学习】复习笔记之欠拟合和过拟合的概念

本讲大纲:1.局部加权线性回归(locally weighted linear regression)给定一个数据集,根据x预测y. 最左边的函数为,并不能很好的拟合数据; 中间的加了一个额外...
  • Andrewseu
  • Andrewseu
  • 2015年07月03日 17:45
  • 6655

过拟合产生的原因和预防

1,什么是过拟合(overfitting) 简单的说就是这样一种学习现象:Ein 很小,Eout 却很大。 而Ein 和 Eout 都很大的情况叫做 underfitting。 这是机器学习中两...
  • findsd1989
  • findsd1989
  • 2015年05月21日 17:16
  • 1582

机器学习算法中的过拟合与欠拟合

在机器学习表现不佳的原因要么是过度拟合或欠拟合数据。 机器学习中的逼近目标函数过程 监督式机器学习通常理解为逼近一个目标函数(f)(f),此函数映射输入变量(X)到输出变量(Y). ...
  • u014696921
  • u014696921
  • 2017年03月17日 10:40
  • 893

浅谈深度学习尝常识:泛化、过拟合、Dropout、Attention

刚开始接触深度学习,难免有很多名词概念的陌生、不清晰;当然,如果要快速考核一个人的深度学习”深度“,尤其是在面试过程中,同行会问到,有没有出现过拟合呀?怎么解决呀?这些问题看起来很高深,或者需要很深厚...
  • Errors_In_Life
  • Errors_In_Life
  • 2017年04月19日 23:46
  • 1297
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习过度拟合问题一些原因[转]
举报原因:
原因补充:

(最多只允许输入30个字)