统计学习方法——李航 笔记

第一章 概论

统计学习的目标在于：从假设空间中选取最优模型

统计学方法三要素：方法=模型+策略+算法
训练集用来训练模型，验证集用来选择模型，测试集用于对学习方法的评估。

1、输入变量和输出变量均为连续变量的预测问题称为回归问题，输出变量均为有限个离散变量的预测问题称为分类问题，输入变量和输出变量均为变量序列的预测问题称为标注问题

2、监督学习：

3、无监督学习：

4、模型：所要学习的条件概率分布或决策函数。
模型的假设空间：包括所有可能的条件概率分布或决策函数。

5、两个基本策略：经验风险最小化和结构风险最小化（正则化方法）

6、学习方法的评估标准：基于损失函数模型的训练误差和测试误差

7、泛化能力：对未知数据的预测能力

8、过拟合：对训练数据的预测能力很好，但是对未知数据的预测很差。

9、常用的模型选择方法：正则化、交叉验证
（1）正则化：是结构风险最小化的实现，是在经验风险上加一个 正则化项 或 罚项 。
正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值越大。

（2）交叉验证：重复的使用数据。把给定的数据进行切分，将切分的数据集组合为训练集与测试集，在此基础上反复进行训练、测试以及模型选择。

---

第二章 感知机