1.合页损失函数
合页损失函数:是一种带有置信度的损失函数。
ps:可满足性比较容易达到。
ps:用svm的置信区间来进行比较。
它的通用表达式为:
带有软间隔的线性SVM,它最初的损失函数:
经过约束变形得到:
函数进一步可写为:
进一步:SVM的损失函数可以看为L2正则项和合页损失函数之和!
ps:直接对合页损失进行优化很难,所以svm是转化为有约束的最优化问题,通过引入拉格朗日乘子来解决!
2.交叉熵损失
二分类问题对应log损失函数,多分类问题对应交叉熵损失。
ps:log损失是直接对二分类问题,假设样本服从两点分布,利用极大似然估计建模,得到log损失。
ps:交叉熵损失
ps:不管是log还是交叉熵损失都具有不满足性,就是损失很难达到0。
ps:交叉熵求导后和均方误差的形式一样,当分类的误差越大那么收敛越快,分类的误差越小收敛会慢下来。
3.交叉熵损失和合页损失的区别
合页损失是可满足的当样本分类满足置信区间时就没有损失,而交叉熵损失是不可满足的,总是会有损失值。