Cross Entropy Loss 交叉熵损失
多分类问题
特点
使用softmax作为输出，且所有输出的概率为1。
公式
H = − ∑ i o i ∗ log ( o i ) H = - \sum\nolimits_i {o_i^*} \log ({o_i}) H=−∑ioi∗log(oi)
实例应用
假设真实标签的one-hot编码为[0,0,…,1,…,0,0]
预测的softmax概率为[0.1,0.2,…,0.4,…,0.1,0.1]
根据公式得到：
L
o
s
s
=
−
log
(
0.4
)
Loss = - \log (0.4)
Loss=−log(0.4)
二分类问题
特点
使用sigmiod作为输出，每个输出节点之间互不相干
公式
H = − 1 N ∑ i = 1 N [ o i ∗ log o i + ( 1 − o i ∗ ) log ( 1 − o i ) ] H = - \frac{1}{N}\sum\limits_{i = 1}^N {[o_i^*} \log {o_i} + (1 - o_i^*)\log (1 - {o_i})] H=−N1i=1∑N[oi∗logoi+(1−oi∗)log(1−oi)]
带*号的为真实标签值，不带*号的为预测值。log默认为e为底数的ln。
317
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
