统计学习三要素 模型＋策略＋算法

统计学习方法都是由模型、 策略和算法构成的。
即统计学习方法由三要素构成， 可以简单地表示为：方法＝模型＋策略＋算法

模型

1. 统计学习首要考虑的问题是学习什么样的模型。
2. 在监督学习过程中， 模型就是所要学习的条件概率分布或决策函数。
3. 模型的假设空间包含所有可能的条件概率分布或决策函数。
   例如， 假设决策函数是输入变量的线性函数， 那么模型的假设空间就是所有这些线性函数构成的函数集合。 假设空间中的模型一般有无穷多个。
   

策略

有了模型的假设空间， 统计学习接着需要考虑的是按照什么样的准则学习或选择最优的模型。 统计学习的目标在于从假设空间中选取最优模型。
首先引入损失函数与风险函数的概念。
1. 损失函数度量模型一次预测的好坏
2. 风险函数度量平均意义下模型预测的好坏

损失函数