《统计学习方法》李航著——第一章学习笔记

第一章：熟悉统计学习方法的基本概念

统计学习：基于数据构建概率统计模型并运用模型对数据进行预测和分析，也称为统计机器学习。

1.统计学习组成：监督学习，半监督学习，非监督学习和强化学习。

2.统计学习三个基本要素：模型（假设空间）、策略（确定选择模型的规则）、算法（求解最优模型，达到全局最优）。

a.      模型

b.   策略：确定模型选择的规则

当训练样本数目有限甚至很小时，则经验风险不能估计期望风险，所以必须对经验风险进行一定的矫正，这就关系到监督学习的两个基本策略，如下图：

c.      算法：实现求解最优模型的算法

3.模型评估：在给定的函数模型ƒ，是基于损失函数的模型的训练误差和测试误差。

4.模型选择：防止出现“过拟合”和泛化能力差

5.生成模型和判别模型，分类、标注、回归问题。