过拟合

过拟合

在各类机器学习问题中,常常会出现过拟合问题。

原因&现有方案

原因来自许多方面,包括样本量少、样本存在噪声、模型复杂度高等等。解决方法也有很多,常见的方法包括在合适的时间停止训练、使用验证集、交叉验证、权值衰减、正则化等等。

数据清洗

从这些解决办法上可以看到一些相同的地方,就是大都是从训练过程加以实施,在一定程度上给大家一种问题出在模型上的感觉,但本质上的原因是样本中含有噪声。打个比方,需要做一道菜,但是买到的蔬菜中有泥沙,现在的方法不是把泥沙洗掉,而是让厨师在炒菜的过程中下功夫,让最后的菜尽量不包含泥沙。这样做也是可以的,但更加合适的思路应该是寻找一种判断泥沙(噪声)的方式,一开始就对蔬菜(样本)做预处理,得到干净的蔬菜(样本),便可以更加从容的进行后面的环节。
从通用的角度来看,新的思路也更加合适,因为现有的方法往往都要针对具体问题设计抑制过拟合的措施,调整选择超参数。

发布了2 篇原创文章 · 获赞 1 · 访问量 17
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 1024 设计师: 上身试试

分享到微信朋友圈

×

扫一扫,手机浏览