机器学习过拟合的原因和解决办法

原创 2018年04月15日 12:02:36
一、什么是过拟合
1、泛化能力差
     低 Ein,高Eout。
2、泛化能力差和过拟合

     

泛化能力差:(E_out−E_in) 很大
过拟合:E_in↓,E_out↑
欠拟合:E_in↑,E_out↓
3、过拟合的原因
     ①使用过多的d_vc  (即使用的模型的复杂度过高)
     ②噪声
     ③数据有限


二、噪声和数据集尺寸的角色


复杂度越高的模型,当数据量越小,N→∞。灰色部分表示过拟合。


三、确定性噪声
1、过拟合的衡量
      (1)高斯噪声的影响,δ^2 表示方差【随机噪声】

      

   (2)确定性噪声



严重过拟合的原因:
数据集尺寸N ↓         过拟合↑
随机噪声↑           过拟合↑
确定性噪声↑         过拟合↑
使用的模型复杂度↑ 过拟合↑

四、过拟合的解决方法
1、可能的解决途径
    ①从简单的模型开始
    ②数据清理/修剪
    ③提供额外的提示
    ④正则化
    ⑤验证

Python 数据挖掘与机器学习基础

Python 数据挖掘与机器学习基础
  • 2017年12月04日 22:35

机器学习、深度学习中过拟合的理解及解决方法

过拟合的定义      指在模型参数拟合过程中的问题,由于训练数据包含抽样误差,训练时,复杂的模型将抽样误差也考虑在内,将抽样误差也进行了很好的拟合。具体表现就是训练集上效果好,在测试集上效果差。模型...
  • heart_leader
  • heart_leader
  • 2018-02-27 19:11:58
  • 248

机器学习:偏差、方差与欠拟合、过拟合

首先,我们先来理解一下偏差与方差的概念。举个高中数学里经常出现的例子,两个射击选手在射靶。甲射出的子弹很集中在某个区域,但是都偏离了靶心。我们说他的射击很稳定,但是不够准,准确性差。也就是说他的方差小...
  • liweibin1994
  • liweibin1994
  • 2017-08-07 20:32:10
  • 1137

机器学习之——欠拟合与过拟合

我从网上找了很多的资料,但是也没有很明确的定义,大体上的意思就是: 欠拟合:模型拟合不够,在训练集(training set)上表现效果差,没有充分利用数据,预测的准确率比我们设计的模型远远低很多,...
  • qingshui23
  • qingshui23
  • 2017-03-17 13:01:08
  • 670

机器学习中的过拟合和防止过拟合

过拟合:为了得到一致假设而使假设变得过度复杂称为过拟合。“一个过配的模型试图连误差(噪音)都去解释(而实际上噪音又是不需要解释的),导致泛化能力比较差,显然就过犹不及了。” 这句话很好的诠释了过拟合产...
  • yang090510118
  • yang090510118
  • 2014-09-21 21:10:04
  • 1129

机器学习:什么是欠拟合和过拟合

1. 什么是欠拟合和过拟合 先看三张图片,这三张图片是线性回归模型 拟合的函数和训练集的关系 第一张图片拟合的函数和训练集误差较大,我们称这种情况为 欠拟合 第二张图片拟合的函数和训...
  • u011630575
  • u011630575
  • 2017-05-04 10:32:18
  • 2530

机器学习中的过拟合问题以及解决方案

笔者希望该笔记能够记录每个机器学习算法的过拟合问题。 过拟合问题举例 右图在训练数据上拟合完美,但是预测第11个时候, 左图虽然拟合不完全,但是更合理;右图的-953,误差极大。 ...
  • sinat_26917383
  • sinat_26917383
  • 2016-06-08 20:24:18
  • 7627

过拟合(原因、解决方案、原理)

1.定义 标准定义:给定一个假设空间H,一个假设h属于H,如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小,但在整个实例分布上h’比h的错误率小,那么就说假设h过度拟合训练数据。 —...
  • a819825294
  • a819825294
  • 2016-04-25 08:38:15
  • 13541

机器学习中过拟合问题分析及解决方法

机器学习中过拟合问题分析及解决方法表现:在训练集上的误差特别小,在测试集上的误差特别大。 原因:模型过于复杂,过分拟合数据噪声和outliers(离群值). 解决方法: 1、正则化。模型中添加先...
  • qq_23617681
  • qq_23617681
  • 2016-05-20 22:31:00
  • 837

机器学习中防止过拟合的处理方法

在进行数据挖掘或者机器学习模型建立的时候,因为在统计学习中,假设数据满足独立同分布,即当前已产生的数据可以对未来的数据进行推测与模拟,因此都是使用历史数据建立模型,即使用已经产生的数据去训练,然后使用...
  • heyongluoyao8
  • heyongluoyao8
  • 2015-10-26 20:58:12
  • 85122
收藏助手
不良信息举报
您举报文章:机器学习过拟合的原因和解决办法
举报原因:
原因补充:

(最多只允许输入30个字)