首先给出几种loss function的曲线示意图,来自PRML.
下面给出表达式。
1 exponential
y = exp(-z)
该函数即为Adaboost采用的损失函数。
2 logistic
y = log(1+exp(-z))
上图所示的红色曲线被称为cross entropy (交叉熵),这是因为将交叉熵定义中的y取值由0和1变换为-1和1之后,等价于logistic函数。另外,上图中的曲线经过了缩放,有个log2的系数。
3 hinge
y = max{0,1-z}