李航老师认为:统计学习方法分为三个方面:模型+策略+算法。
- 模型是要学习的条件概率分布或决策函数(对于统计或非统计模型来说)。即输入空间到输出空间的函数族或者条件概率族
- 策略是选择模型的准则。一般准则就是最小化风险函数。损失函数为一次预测的好坏,而风险函数是损失函数的期望。风险函数又分为经验风险函数和结构风险函数。经验风险函数适用于数据量足够的情况,例如极大似然估计。但当其数据量较小时会出现过拟合的现象。而结构风险函数加入了正则项,可以有效缓解这种问题。
- 算法则是根据策略,按照什么样的计算方法来选择模型,例如梯度下降法。