【统计学习方法笔记】第一章统计学习概论

目录

1.1统计学习

1.2 统计学习的分类

1.3 统计学三要素

1.4 模型评估与模型选择

1.5 正则化与交叉验证

1.6 泛化能力

1.7 生成模型与判别模型

1.8 监督学习应用

---

1.1统计学习

统计学习包括：监督学习，非监督学习，半监督学习，强化学习，本书主要讨论监督学习。

1.2 统计学习的分类

重点为监督学习：

• 监督学习的实现步骤

得到一个有限的训练数据集合； 确定模型的假设空间，也就是所有的备选模型； 确定模型选择的准则，即学习的策略； 实现求解最优模型的算法； 通过学习方法选择最优模型； 利用学习的最优模型对新数据进行预测或分析；
训练集：	实例的特征向量：

• 模型形式（两种）：

1）决策函数        预测形式    

不代表某个具体函数，代表假设空间中可能的备选函数；区别于，为选择的最优函数；

2）条件概率分布   

给定输入x，得到y的概率分布，在某个y取值上对应该一个概率，所有取值概率之和为1；选择概率最大对应的y值；

1.3 统计学三要素

• 模型（假设空间）：备选模型的集合

决策函数：