1.多分类SVM
eg:分类结果示例
使用总损失函数来衡量分类的结果
假设xi是其中的一个样本,那么这个样本对应的得分为
那么这个样本的SVM loss为
Δ:只有分类错误的时候SVM才会有损失
2.softmax
(1). 自信息:-log(P(x))
事件发生的概率越小,信息量越大,概率越大,信息量越小
(2). 信息煽 :
表征所有可能的自信息期望值
(3). KL散度
化简后得
在标签为one-hot分布(eg:00010000000)时
这里为交叉熵。
总结 可使用softmax将得分变为概率分布,然后使用交叉熵作为损失函数,衡量标签与得分得相似度,然后不断地优化w使得交叉熵越来越小