分类任务的损失函数
0/1损失:预测类别正确损失为0,否则为1,记为
0/1损失不连续,优化计算不方便
寻找其他替代损失函数(Surrogate Loss Function)
通常是凸函数,计算方便且和0/1损失是一致的。
可以看出,浅蓝色L2损失不是一个好的代理损失,所以优化L2损失并不能很好地优化模型的准确度。
Logistic损失
Logistic回归模型:y|x~Bernoulli(μ(x)),
log似然函数为:
log似然函数为:
定义负log似然损失为:
则极大似然估计等价于最小训练集上的负log似然损失:
负log似然损失被称为Logistic损失
Logistic损失被称为交叉熵损失(Cross Entropy Loss)
交叉熵损失:两个分布之间的差异(已知真实分布情况下,预测分布于真实分布之间的差异)
假设已知真值y=1,即y|x~Bernoulli(1)
假设=1的概率为μ(x),
即这两个分部之间的交叉熵为:
综合:
定义Probability of ground truth class为:
则