如何理解交叉熵恒大于或等于0？
看了很多博客，我发现它们都基本上是以一个定义的形式，直接告诉我们（或者不提及）交叉熵它是恒大于等于0的，没有解释为什么。
可参考的部分优质博客
如果想要了解什么是熵及变形总结，可以参考博客：机器学习笔记十：各种熵总结,里面讲的非常详细。
这里要说的是交叉熵为什么恒大于等于0
如果数学功底好的，可以参考PRML书中公式（1.118）KL散度恒大于等于 0的推导，它同样可以解释交叉熵。
如果你英文好可以直接参考视频【 深度学习 】熵，交叉熵，KL散度 Entropy, Cross-Entropy and KL-Divergence（英文），里面对熵等内容讲解的也很详细。
我对交叉熵恒大于等于0的理解
这里我们首先要知道，交叉熵通常被用来解决分类问题
交叉熵公式：
H
(
p
,
q
)
=
−
∑
x
p
(
x
)
log
q
(
x
)
.
\Eta(p,q) = -\sum_x p(x) \log q(x)\,.
H(p,q)=−x∑p(x)logq(x).
其中p(x)为真实概率分布，q(x)为预测概率分布
以二分类为例，x为正类时p(x)值为1，则
H
(
p
,
q
)
=
−
1
∗
log
q
(
x
)
−
0
∗
log
q
(
x
)
=
−
log
q
(
x
)
.
\Eta(p,q) = - 1* \log q(x)-0* \log q(x)=- \log q(x)\,.
H(p,q)=−1∗logq(x)−0∗logq(x)=−logq(x).
我们知道q(x)为预测概率分布
0
≤
q
(
x
)
≤
1
.
0\leq q(x)\leq 1\,.
0≤q(x)≤1.
所以
H
(
p
,
q
)
≥
0
.
\Eta(p,q) \ge 0\,.
H(p,q)≥0.
最后分享两个LaTex公式符号对照博客
LaTeX各种符号
Latex之希腊字母表 花体字母 实数集
扫一扫
384
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
