多分类器的损失函数

函数特性

在机器学习中，hinge loss是一种损失函数，
它通常用于"maximum-margin"的分类任务中，如支持向量机。数学表达式为：

假设我们现在有三个类别 而得分函数计算某张照片的得分为f(x,W) = [13,-7,11]
而实际的结果是第一类 yi = 0 假设 代尔塔 = 10 
上面的公式会把所有错误类别都遍历一遍 求值加和

比如是3分类 A B C 会分别计算在A B C这3类的结果值
比如 B是正确分类 分数分别为 [13,-7,11]
L1 = max(0,-7-13+10) + max(0,11-13+10)
会计算他们的差值 并且加上我们设置的超参数 当这个差值大约这个超参数的时候
才认为他们的没有误差的

softmax 

aj是我们的得分
但由于得分存在负数 用e为底做了指数运算
然后再做归一化 把结果化到 （0-1）的区间上
这样结果全都是概率值了

label 是[0,1,0,1] 要么是 要么不是

然后我们用 交叉熵 来评估2个概率分布的差异有多大

当P等于0或者等于1时，说明它带给我们的信息量(不确定度)就为零，因为我们百分百知道这个符号是怎么样的，此时熵等于0

所以直接是 -log(Sj) 

用hinge loss 的结果可能直接是0 
但交叉熵会存在一定的distance 不管怎么努力 还是差一些