机器学习：损失函数、风险函数、经验风险、期望风险、结构风险

一、损失函数和风险函数的区别

理论上模型f(X)关于联合分布P(X,Y)的平均意义下的损失，称之为风险函数(risk function)或期望损失(expected loss).

一句话总结就是：损失函数的平均为风险函数

二、经验风险、期望风险、结构风险

1. 经验风险 empirical risk

经验风险就是模型f(X)在训练数据集上的平均损失(损失函数的值)，也称之为经验损失。

为什么叫经验风险呢？提供一个记忆的方法，由于训练数据集是我们已知的，那么就是我们的经验了，在训练集上的损失自然可以理解成经验损失，或者经验风险。

2. 期望风险 expected risk

期望风险就是模型f(X)在全部数据集上的平均损失。这里全部数据集包括了训练集，验证集，也包括可能未知的测试集。

由于测试集我们是在模型训练完之后才产生，所以一般我们很难估计期望风险。

一个很自然的想法就是用经验风险估计期望风险。但是，由于现实中训练样本数目有限，甚至很小，所以用经验风险估计期望风险常常并不理想，要对经验风险进行一定的矫正，这就是我们下面要谈到的结构风险。

3. 结构风险 structural risk

结构风险就是经验风险加上正则化项。

如果你不了解正则化项，那么可以了解一下这篇文章正则化项为什么能够防止过拟合？防止过拟合的方法

为什么叫结构呢？因为正则化项表征模型参数大小，模型参数可以理解成模型的结构。所以这个风险函数称之为结构风险。

三、参考文献

【1】统计学习方法 李航