qq_38846606的博客

如何理解交叉熵恒大于或等于0？ 如果想要了解什么是熵及变形总结，可以参考博客：机器学习笔记十：各种熵总结,里面讲的非常详细。 这里要说的是交叉熵为什么恒大于等于0 看了很多博客，我发现它们都基本上是以一个定义的形式，直接告诉我们（或者不提及）交叉熵它是恒大于等于0的，没有解释为什么。 那这里我们首先要知道，交叉熵通常被用来解决分类问题 交叉熵公式： H(p,q)=−∑xp(x)log⁡q(x) . \Eta(p,q) = -\sum_x p(x) \log q(x)\,. H(p,q)=−x∑​p(x)l

仅用做为自己收藏 作者：Peiwen 链接：https://www.zhihu.com/question/41252833/answer/195901726 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 讨论这个问题需要从香农的信息熵开始。小明在学校玩王者荣耀被发现了，爸爸被叫去开家长会，心里悲屈的很，就想法子惩罚小明。到家后，爸爸跟小明说：既然你犯错了，就要接受惩罚，但惩罚的程度就看你聪不聪明了。这样吧，我们俩玩猜球游戏，我拿一个球，你猜球的颜色，我可以回答你任何问题，