定义
在信息论中,交叉熵是表示两个概率分布p,q,其中p表示真实分布,q表示非真实分布,在相同的一组事件中,其中,用非真实分布q来表示某个事件发生所需要的平均比特数。
举例
假设现在有一个样本集中两个概率分布p,q,其中p为真实分布,q为非真实分布。假如,按照真实分布p来衡量识别一个样本所需要的编码长度的期望为:
![1531909-842c4eb4f93552e1.png](https://i-blog.csdnimg.cn/blog_migrate/99f0a2cc6a8d87ac8910d3f4af8928be.webp?x-image-process=image/format,png)
但是,如果采用错误的分布q来表示来自真实分布p的平均编码长度,则应该是:
![1531909-e55151b3adf5089a.png](https://i-blog.csdnimg.cn/blog_migrate/a6375e1a03ed973796d33a6620cbc322.webp?x-image-process=image/format,png)
此时就将H(p,q)称之为交叉熵。交叉熵的计算方式如下:
![1531909-cf4b972d0688b2d4.png](https://i-blog.csdnimg.cn/blog_migrate/300ddac68c9413794212a14a25630d12.webp?x-image-process=image/format,png)
以上内容来自交叉熵-百度百科
到这里自己有两个地方不明白:
- 什么事真事分布与非真实分布?
- 什么编码长度?
要搞懂这些,还需要看一些信息论中的知识,于是乎找到这篇文章:
信息论中的一些基本的知识
静下心看吧:看完之后自己浮躁的心平静下来了