机器学习之一：模型评估与选择

之前认真看了一遍《机器学习》，最近想快速过第二遍，并记录下重要内容。

回看之前自己写的东西，好像自己一直倾向于只记录干货，这样的结果就是写出的东西很噎人....嗯...不敢回看...之前组会汇报时，老板也有提过，对一些概念/公式的来龙去脉并没有很清晰的展现出来，今后要注意这一方面。站在读者/听众的角度考虑，哪些知识是大家已知的，哪些是大家很模糊需要阐释清楚的，不要急着向外扔干货，要有铺垫/交待。

Ok..今天总结一下《机器学习》的第二章

机器学习实际上是通过一定量的已观测数据学习一个模型，使得该模型可有效判决新样本（有监督学习中的分类和回归任务，无监督学习中的聚类任务）。我们希望学得泛化误差尽可能小的模型，但由于新样本是未知的，只能做到使经验误差（训练误差）尽可能小。

一、过拟合/欠拟合

1）定义：

过拟合：训练过充分，将训练样本自身的一些特点当作所有样本都具有的一般性质，往往泛化性能较差；

欠拟合：训练不充分，训练样本的一般性质尚未学好；

2）原因及解决方案：

学习能力过于强大会容易导致过拟合；学习能力低下易导致欠拟合。

过拟合的解决方案：减小模型复杂度，如引入正则项

欠拟合的解决方案：增加模型复杂度，如决策树学习中扩展分支、神经网络学习中增加训练轮数

需注意的是，由于欠拟合可容易避免，避免过拟合却很难，因此过拟合往往是机器学习中的关键障碍。

二、评估方法