统计学习方法三要素-模型, 策略, 算法

模型

什么是模型

要学习的条件概率分布或决策函数

模型假设空间

所有可能的条件概率分布或决策函数的集合，由一组参数向量决定（参数空间）

理解

 模型可能是条件概率分布（概率模型）或决策函数（非概率模型）。

当它是条件概率分布是， 我们要做的是在给定条件（输入即为给定条件）的情况下，求出一个输出使得概率最大。典型方式是概率学中学习的最大既然估计，即每个样本带入后概率之积最大，此时转换为求函数最值问题，即先确定单调性，求偏导找极值，转换成用线性代数方法解方程。（贝叶斯方法？）

当它是决策函数时， 我们要做的是确定方程组的参数。（如何确定？）

 

模型假设空间是一组确定了模型基本类型（如线性模型）但未求出参数的函数集合。

 

策略

什么是策略

策略是用来评估模型的好坏，选择学习的准则。

损失函数(Loss Function Cost Function)

用于评估一次预测的好坏。典型的损失函数有0-1损失函数，平方损失函数（即最典型的样本-期望差的平方）

风险函数(Risk Function)

用于评估整体预测情况的好坏，即损失函数的期望

期望风险

期望风险需要知道总体的分布（即总体分布的所有参数必须给定），但总体分布的参数位置，无解。

经验风险

经验风险用样本分布来模拟总体风险分布，由大数定律可知，样本足够大经验风险趋近于期望风险。

结构风险

模型越复杂就越容易出现过拟合，即训练后的模型完美预测所有样本，但对于未知数据预测结果很差。 此时引入惩罚项来防止模型过于复杂，惩罚项加到经验风险后。结构风险需要求经验风险+惩罚项的最小值。 模型越复杂惩罚函数越大，惩罚函数典型的如L0, L1等。

 

算法

什么是算法

即求解最优模型的计算方法，即求解最优化问题的算法。若解析解不存在，则需要用数值计算的方法求解（梯度下降等等）。