统计学习方法笔记，第一章，统计学系方法概论

这个博客系列是我复习李航博士的《统计学习方法》所做的笔记，其中一部分是笔记，一部分是自己的感悟和理解，可能有些理解不够准确，欢迎指正！

1.1 统计学习

(1)统计学习方法的三要素：模型、策略和算法，之后的章节对于每一种模型都是按照这三个角度进行分析

(2)学习的定义：通过执行某个过程改进性能，而统计学习则是运用数据和统计的方法进行改进，通过统计方法对数据进行学习，改进模型的性能。

(3)统计学习的基本假设：同类数据具有一定的统计规律性。我们通常用于建模的数据都是具有相同性质的同类数据，如人的身高体重等。我们一般默认数据是独立同分布的。

(4)统计学习的目标：

<1>学习什么样的模型（模型选择）

<2>如何学习模型（优化目标，损失函数，策略）

(5)对应关系

模型 —— 假设空间的集合

策略 —— 模型的评价标准，优化目标，损失函数，代价函数

算法 —— 达到优化目标的方法，如梯度下降等

1.2 监督学习

1.监督学习的假设：输入变量X与输出变量Y遵循联合概率分布P（X，Y），且 概率分布一定存在，是我们学习的对象。 我们假设数据都是由这个概率分布P（X，Y）独立同分布产生的。

1.3 统计学习三要素

1.3.1模型

模型决定了假设空间，假设空间包含了所有可能的条件分布。比如我们假设模型为一元线性函数，则所有满足y = ax + b (a,b属于R)就是假设空间。

1.3.2策略

1.策略是对于模型的评价标准，依照什么样的标准从假设空间中选择最合适的模型。举个不恰当的例子，，如果策略选择是让y最小，那就是让x = 0，当然实际情况不可能这么简单，哈哈。

2.损失函数度量了预测错误的程度，即预测值和真实值的不一致性。

3.风险函数是损失函数对整个样本空间的期望值，即