损失函数

损失函数

统计学习中常用的损失函数：

1. 平方损失函数
   平方损失函数是最常见的损失函数，在回归中经常使用。
   $L\left( {Y,f\left( X \right)} \right) = \left( {Y - f\left( X \right)} \right)^2$

2. 0-1损失函数
   $L\left( {Y,f\left( X \right)} \right) = {I\left( {Y \ne f\left( X \right)} \right)}$

3. 对数损失函数
   对数损失函数是逻辑回归的损失函数，在逻辑回归中，假设样本服从伯努利分布（0-1分布），对样本的估计是用概率形式表达的，即：
   $P\left( {y\left| {x;\theta } \right.} \right) = \left( {h_\theta \left( x \right)} \right)^y \left( {1 - h_\theta \left( x \right)} \right)^{1 - y}$
   然后取对数得到极大似然估计，而损失函数将似然函数取反，采用梯度下降使其最小。标准的对数损失函数如下：
   $L\left( {Y,P\left( {Y\left| X \right.} \right)} \right) = - \log P\left( {Y\left| X \right.} \right)$

4. 指数损失函数
   指数损失函数是前向分布算法的损失函数，常见的Adaboost是前向分布算法的一个特例，在Adaboost中，分类器和样本权值的更新公式为：
   $\alpha _m = \frac{1}{2}\log \frac{{1 - e_m }}{{e_m }}$
   $w_{m + 1,i} = \frac{{w_{mi} }}{{Z_m }}\exp \left( { - \alpha _m y_i G_m \left( {x_i } \right)} \right)$
   这两个公式均是将下式带入到指数损失函数中推导出来的。
   $f_m \left( x \right) = f_{m - 1} \left( x \right) + \alpha _m G_m \left( x \right)$

5. 合页损失函数
   合页损失函数出现在SVM中，可以将其表示为：
   $\sum\limits_{i = 1}^n {\left[ {1 - y_i \left( {wx_i + b} \right)} \right]_ + + \lambda \left\| w \right\|^2 }$
   其中[]+是取正值函数，即：
   

   $$\begin{array}{l} z,z > 0 \\ 0,z \le 0 \\ \end{array}$$
   SVM中定义支持向量的距离为1，约束条件中所有点到超平面的距离都要大于1，那么，大于1且分类正确的点的损失值为0。后面的那一项是正则项，控制模型复杂度。

下图给出了各种损失函数对应的曲线。