经验风险、期望风险、结构风险

1、经验风险：将所有的样本点都求一次损失函数然后进行累加。

    经验风险是对训练集中所有样本点损失函数的平均最小化。经验风险越小说明模型f(X)对训练集的拟合程度越好。

2、期望风险：期望风险是全局概念，表示决策函数对所有的样本<X,Y>预测能力的大小，而经验风险是局部的概念，仅仅表示决策函数对训练数据集里样本的预测能力。

    理想的模型（决策）函数应该是让所有的样本的损失函数最小的（也即期望风险最小化），但是期望风险函数往往是不可得到。只能用局部最优代替全局最优。

   经验风险函数是现实的，可求的；

   期望风险函数是理想化的，不可求的；

3、结构风险：防止过拟合，限制模型复杂度。结构风险是对经验风险和期望风险的折中。在经验风险函数后面加一个正则化项（惩罚项）便是结构风险了，如L1或者L2正则化。