《统计学习方法》读书笔记——第一章 统计学习方法概论

写在前面

本系列博客是自己对于《统计学习方法》这本书的读书笔记，在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。

---

目录

写在前面

本章框架

监督学习、非监督学习与强化学习

统计学习三要素

极大似然估计

贝叶斯估计

最大后验概率估计

生成模型和判别模型

回归、分类和标注

---

本章框架

监督学习、非监督学习与强化学习

监督学习：从数据中预测标签（学认字）

非监督学习：寻找数据中存在的隐藏结构（自动聚类）

强化学习：学习一系列动作（学下棋）

统计学习三要素

模型（模型的假设空间）、策略（模型选择的准则）、算法（模型学习的算法）

极大似然估计

参考博客，

贝叶斯估计

最大后验概率估计

生成模型和判别模型

生成模型：根据联合分布求条件概率分布（朴素贝叶斯、隐马尔可夫模型）

判别模型：直接学习

回归、分类和标注

根据输入和输出的类型来区分

回归：IN和OUT均为连续变量

分类：OUT为有限个离散变量

标注：IN和OUT均为变量序列