三种常见的替代损失函数

对于有些损失函数，数学性质很差的，可以用下面的函数替代，当然也可以寻找其他的，只要保证是凸函数即可。

1、hinge损失：

f(x)=max(0,1-x)，函数的图形如下：

2、指数损失函数，f(x)=exp(-x)

函数关系图如下：

3、对率损失函数，f(x)=log(1+exp(-x))

总结：

以上三个函数的共同点就是都是凸函数，且函数的正半轴几乎都为0，也就是负半轴才有惩罚，正半轴几乎不需要惩罚，这也是其函数关键点用处。