机器学习过拟合的原因和解决办法

一、什么是过拟合
1、泛化能力差
     低 Ein,高Eout。
2、泛化能力差和过拟合

     

泛化能力差:(E_out−E_in) 很大
过拟合:E_in↓,E_out↑
欠拟合:E_in↑,E_out↓
3、过拟合的原因
     ①使用过多的d_vc  (即使用的模型的复杂度过高)
     ②噪声
     ③数据有限


二、噪声和数据集尺寸的角色


复杂度越高的模型,当数据量越小,N→∞。灰色部分表示过拟合。


三、确定性噪声
1、过拟合的衡量
      (1)高斯噪声的影响,δ^2 表示方差【随机噪声】

      

   (2)确定性噪声



严重过拟合的原因:
数据集尺寸N ↓         过拟合↑
随机噪声↑           过拟合↑
确定性噪声↑         过拟合↑
使用的模型复杂度↑ 过拟合↑

四、过拟合的解决方法
1、可能的解决途径
    ①从简单的模型开始
    ②数据清理/修剪
    ③提供额外的提示
    ④正则化
    ⑤验证
阅读更多
文章标签: 机器学习 过拟合
个人分类: 机器学习
上一篇Python3的多行输入
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭