之前认真看了一遍《机器学习》,最近想快速过第二遍,并记录下重要内容。
回看之前自己写的东西,好像自己一直倾向于只记录干货,这样的结果就是写出的东西很噎人....嗯...不敢回看...之前组会汇报时,老板也有提过,对一些概念/公式的来龙去脉并没有很清晰的展现出来,今后要注意这一方面。站在读者/听众的角度考虑,哪些知识是大家已知的,哪些是大家很模糊需要阐释清楚的,不要急着向外扔干货,要有铺垫/交待。
Ok..今天总结一下《机器学习》的第二章
机器学习实际上是通过一定量的已观测数据学习一个模型,使得该模型可有效判决新样本(有监督学习中的分类和回归任务,无监督学习中的聚类任务)。我们希望学得泛化误差尽可能小的模型,但由于新样本是未知的,只能做到使经验误差(训练误差)尽可能小。
一、过拟合/欠拟合
1)定义:
过拟合:训练过充分,将训练样本自身的一些特点当作所有样本都具有的一般性质,往往泛化性能较差;
欠拟合:训练不充分,训练样本的一般性质尚未学好;
2)原因及解决方案:
学习能力过于强大会容易导致过拟合;学习能力低下易导致欠拟合。
过拟合的解决方案:减小模型复杂度,如引入正则项
欠拟合的解决方案:增加模型复杂度,如决策树学习中扩展分支、神经网络学习中增加训练轮数
需注意的是,由于欠拟合可容易避免,避免过拟合却很难,因此过拟合往往是机器学习中的关键障碍。
二、评估方法