统计学习方法（一）

因为之前看过吴恩达的机器学习的入门级视频，所以这本书的前几章看起来是很快的。这里只就我觉得是重点的内容记录下来。

一、统计学习方法概论

1、统计学习三要素

模型（参数向量、参数空间的概念）、策略（几个常用的统计函数：0-1loss、quadratic loss、absolute loss、log-loss）、算法

2、经验最小化与结构最小化

介绍两者区别

ps. 条件分布概论与边缘分布概率

3、模型评估（训练误差与测试误差的概念）

4、正则化与交叉验证

ps. 范数

4.1、正则化的作用是选择经验风险与模型复杂度同时较小的模型

4.2、交叉验证：数据分为三部分，训练集、验证集（验证模型选择的好坏）、测试集（对方法的最终评估）

a、简单交叉验证

b、S折交叉验证

c、留一交叉验证

5、泛化能力（该方法学习的模型对未知数据的预测能力）

通过比较泛化误差的上界来比较学习方法的好坏（泛化误差上界的定理1.1 P16）

6、生成模型（朴素贝叶斯、隐马尔科夫）与判别模型（由数据直接学习决策函数）介绍

7、分类问题（输出变量为离散值）、标注问题（输入是一个观测序列，输出是一个标记序列或状态序列）、回归问题（预测输入变量与输出变量之间的映射关系）

习题：

1、说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素

2、通过经验风险最小化推导极大似然估计。

答案

答案2