惩罚因子&损失函数

penalty term 和 loss function 看起来很相似，但其实二者完全不同。

惩罚因子：

penalty term的作用是把受限优化问题转化为非受限优化问题。

比如我们要优化：

$minf(x)=x^2-10x$ $x$ 受限于 $g(x)=x-3<=0$

我们可以利用惩罚因子，将上述问题转化为非受限约束问题，也就是拿掉$g(x)$的限制。

函数变为：

$minP(x,s,r)=x^2-10x+sr\varphi (x-3)$
其中s = +1 或-1, r 是控制变量，单调增或减， ϕ是惩罚函数。

如果我们令 $s=1,r=1,\varphi =x2$,则：

$minP(x,s,r)=x^2-10x+(x-3{)}^2$
最终得到结果是错的，原因是r太小，如果我们将r = 100,最终就能得到对的结果。

也就是说，在迭代优化过程中，r是单调变量，如果优化结果不满足约束条件，那么可调节r的值，继续迭代，直至满足为止。

损失函数(loss function)：

损失函数是分类（或回归）过程中计算分类结果错误（损失）的函数。为了检验分类结果，只要使总损失函数最小即可。

以0,1分类为例：

如果我们把一个样本分类正确记为1，错误记为0，那么这就是最简单的0,1 loss function.

如果记$l(y)=max(0,1-ty)$,其中 t为预期结果，y为实际结果，那这就是hinge loss.

其他常用的还有 logistic loss等。

选择合适的损失函数是分类问题的关键之一，对于分类问题最好的是hinge loss. [1]

参考：

[1] Rosasco, Lorenzo, et al. “Are loss functions all the same?.” Neural Computation 16.5 (2004): 1063-1076.

[2] http://web.engr.oregonstate.edu/~paasch/classes/me517/week7/penalty.html

[3] https://en.wikipedia.org/wiki/Hinge_loss