统计学习方法——李航 笔记

第一章 概论

统计学习的目标在于：从假设空间中选取最优模型

统计学方法三要素：方法=模型+策略+算法
训练集用来训练模型，验证集用来选择模型，测试集用于对学习方法的评估。

1、输入变量和输出变量均为连续变量的预测问题称为回归问题，输出变量均为有限个离散变量的预测问题称为分类问题，输入变量和输出变量均为变量序列的预测问题称为标注问题

2、监督学习：

3、无监督学习：

4、模型：所要学习的条件概率分布或决策函数。
模型的假设空间：包括所有可能的条件概率分布或决策函数。

5、两个基本策略：经验风险最小化和结构风险最小化（正则化方法）

6、学习方法的评估标准：基于损失函数模型的训练误差和测试误差

7、泛化能力：对未知数据的预测能力

8、过拟合：对训练数据的预测能力很好，但是对未知数据的预测很差。<