熵和交叉熵

熵怎么计算:

举个例子：二进制数1占位1个bit，因为0和1出现的概率各自50%，所以熵:

3占几个bit呢，3=2^1 + 2^1，应该是占用2个bit。3代表有四种可能0，1，2，3，每种可能出现概率一样为1/4

怎样减少无损压缩的bit，比如已知第一个例子为1，那么第二个例子只能从1，2之间选择，这是限制条件，那么第二个例子就会只占用一个bit，因为只有两种可能，每个占50%。

为什么说交叉熵>=熵

交叉熵公式：

p表示真实分布，而q表示预测分布

比如说有0，1，2三个数，每个出现的概率是1/2, 1/4, 1/4，这是他们的真实分布p。我们来算一下熵。

如果预测出来的概率是1/4, 1/2, 1/4，这是他们的预测分布q。那么我们来算一下交叉熵。

当预测分布q和真实分布p不一样的时候，交叉熵>熵。

如果p, q一样，那么交叉熵=熵。