经验风险和 结构风险

          经验风险最小化(empirical risk)：对于训练样本：[(x1,y1),(x2,y2),...,(xn,yn)]  经验风险定义为训练的模型输出与实际输出的平均损失。记做：   ，也即为预测值与实际值的平均误差；当样本数较少的时候，容易造成过拟合。

        结构风险最小化(structural risk minimization)：相当于对经验风险函数加上正则化条件，约束条件和模型的复杂度有关，方程为： ----------其中：J(f)是模型复杂度函数；当lambda取值过小时，由前项决定，在样本数较少的时候训练出模型阶次较高，从而造成过拟合；当lambda取值过大的时候，由后项决定，最小化模型复杂度函数，从而使模型阶数过低(最小化J(f)函数)，从而造成欠拟合。  

      所以，结构风险最小化 是权衡训练样本的平均预测误差与模型的复杂度。