期望风险与经验风险

机器学习中说用经验风险代替期望风险，是因为期望风险无法计算，我们来具体解释一下。

期望风险：

图： 神经网络与深度学习 邱锡鹏​​​​

但要求得这个函数的值，必须要知道真实的数据分布，但是机器学习的训练数据并无法完全反映整体的性质（如果能完全反映整体，就不存在泛化的要求了），因此实际问题中我们是无法知道真实的数据分布。转而使用经验风险来代替期望风险，即求训练集数据上的平均损失：

即用训练集数据的经验分布来代替整体的真实分布函数。这种训练过程被称为经验风险最小化（现在的机器学习方法都是基于这样的思想）。

顺带提一句，结构风险就是在经验风险的基础上再加上正则化，用以限制模型能力，减小过拟合。