机器学习中的损失函数和风险函数

1、损失函数：度量一次模型的好坏

统计学习中常用的损失函数有如下几种：

   1. 0-1损失函数(0-1 loss function)

 

     预测正确，损失函数为0；预测错误，损失函数为1；该函数不考虑预测差别多少。

   2. 平方损失函数：

          取预测差距的平方

    3. 绝对损失函数：

              

         损失函数的绝对值

     4. 对数损失函数或对数似然损失函数

 

                 损失函数用到了极大似然估计的思想。P(Y|X) ：在当前模型的基础上，对于样本X，其预测值为Y，P(Y|X)为预测正确的概率；由于概率之间的同时满足需要使用乘法，为了将其转换为加法，我们将其取对数。预测正确的概率越高，损失函数越小。

二、风险函数      

     风险函数：风险函数是损失函数的期望，表达平均意义上的模型预测的好坏。

    1、经验风险： 模型f(x)关于训练集的平均损失，称为经验风险和经验损失

        

      公式含义：模型关于训练集的平均损失（每个样本的损失加起来，然后平均一下）

      1.2、经验风险最小化： 经验风险最小的模型，就是最优的模型

              因为在训练集上最小经验风险最小，也就意味着预测值和真实值尽可能接近，模型的效果越好。

  2、 结构风险

     当样本容量不大的时候，经验风险最小化容易产生“过拟合”的问题，为了“减缓”过拟合问题，提出了结构风险最小理论   

     结构风险：在经验风险上加上一个正则化项(regularizer)，或者叫做罚项(penalty)   

       

      结构风险最小化：结构风险最小的模型是最优的模型