《机器学习》周志华 读书笔记

第一章：绪论

泛化能力：学到模型适用于新样本的能力。衍生：泛化误差

归纳偏好：算法在机器学习过程中对某种假设的偏好

“奥卡姆剃刀”原则：若有多个假设与观察一致，则选最简单的那个

NFL定理：没有免费的午餐。算法没有优劣好坏，针对具体问题具体分析

第二章：模型评估与选择

2.1经验误差与过拟合P23

过拟合：为了得到一致假设而使假设变的过度复杂。模型过度拟合，在训练集上表现好，测试集上效果差。

欠拟合：模型拟合不够，在训练集上表现效果差。

原因及解决办法：

  过拟合：

1：模型过于复杂→减少模型复杂度，增加正则化项，L1范数或L2范数

2：特征选取不合理→人工筛选特征，使用特征选择算法

  欠拟合：

1：模型过于简单→增加模型复杂度eg、使用线性模型拟合二次曲线数据

2：特征集过少、数据集过少、抽样数据不合理

2.2评估方法