机器学习三要素

参考《统计学习方法》 李航 P6

1.三要素组成

机器学习=模型+策略+算法

1.1模型

模型：判别模型，生成模型
具体参考：https://blog.csdn.net/qq_21768483/article/details/79697446

1.2策略

策略即考虑用什么样的准则学习或者怎样的选择是最。通俗来说就是如何确定损失函数

1.2.1损失函数与风险函数

损失函数度量模型一次预测的好坏
风险函数度量平均意义下模型预测的好坏
常用损失函数：

1. 0-1损失函数
2. 平方损失函数
3. 绝对损失函数
4. 对数损失函数或对数似然损失函数

风险函数

风险函数又被称为期望损失$R_{exp}$
学习的目标就是选择最小$R_{exp}$的模型

经验风险 $R_{emp}$

经验风险又被称为经验损失

根据大数定理，当样本数量N趋于无穷时 $R_{emp}$ 趋向于$R_{exp}$
学习的目标可以转换为选择最小$R_{emp}$ 的模型
但是通常样本的数量N有限，所以需要对$R_{emp}$ 校正

1.2.2 经验风险最小化与结构风险最小化

经验风险最小化ERM。 就是认为ERM最小的模型最好
结构风险最小化SRM。 加了正则化项，模型越复杂惩罚项越大。SRM越小模型越好

1.3算法

算法指学习模型的具体方法，如何与优化损失函数。例如梯度下降法，迭代法，概率计算公式,EM算法，拟牛顿法等等。