边框回归的损失函数_常见损失函数总结

损失函数：

0-1损失函数（二分类问题。非凸，非光滑，算法很难直接对该函数进行优化）：

Hinge损失函数（二分类问题。0-1损失函数相对紧的凸上界，在fy=1处不可导，不能使用梯度下降法进行优化，而是使用次梯度下降法）：

Logistic损失函数（二分类问题。0-1损失函数的凸上界，该函数处处光滑。可以使用梯度下降法进行优化。由于它对于所有的样本点都惩罚，因此对于异常值相对更敏感一些）：

Cross Entropy损失函数（二分类问题。0-1损失函数的凸上界，该函数处处光滑。可以使用梯度下降法进行优化。但是它的范围限定

）:

平方损失函数（回归问题。光滑，可使用梯度下降法进行优化。相当于在做均值回归，它对异常点较敏感）：

绝对损失函数（回归问题。相当于在做中值回归，对异常点更鲁棒一些，但在

处无法求导）：

Huber损失函数（回归问题。在

较小时为平方损失，在

较大时为线性损失。它处处可导，且对异常点鲁棒）：