交叉熵损失和合页损失（分析）

1.合页损失函数

合页损失函数：是一种带有置信度的损失函数。

ps：可满足性比较容易达到。

ps：用svm的置信区间来进行比较。

它的通用表达式为：

                                        

带有软间隔的线性SVM，它最初的损失函数：

经过约束变形得到：

函数进一步可写为：

进一步：SVM的损失函数可以看为L2正则项和合页损失函数之和！

ps：直接对合页损失进行优化很难，所以svm是转化为有约束的最优化问题，通过引入拉格朗日乘子来解决！

2.交叉熵损失

二分类问题对应log损失函数，多分类问题对应交叉熵损失。

ps：log损失是直接对二分类问题，假设样本服从两点分布，利用极大似然估计建模，得到log损失。

ps：交叉熵损失

ps：不管是log还是交叉熵损失都具有不满足性，就是损失很难达到0。

ps：交叉熵求导后和均方误差的形式一样，当分类的误差越大那么收敛越快，分类的误差越小收敛会慢下来。

3.交叉熵损失和合页损失的区别

合页损失是可满足的当样本分类满足置信区间时就没有损失，而交叉熵损失是不可满足的，总是会有损失值。