# 理解交叉熵

理解交叉熵

首先说说概率论的期望值
期望：表示随机变量的均值

如果变量满足均匀分布，那么期望=均值（比如抛硬币问题）
然后理解什么是熵。
熵：表示所有信息量的期望，信息量： （log的底数是可以改变的，默认底数为2）
我们说，概率越小，表示信息量越大（比如中国队进入世界杯决赛，这就是小概率事件，则信息量大，熵也大）
熵的定义：

那我们对信息量求期望，则

然后理解什么是相对熵（即KL散度）
KL散度：同一随机变量，有两个单独的概率分布 、 ，我们可以用KL散度来衡量这两个分布之间的差异

从公式可看出，KL散度值越小，表示P和Q的分布越接近（可以把P、Q分别看做标签和预测集）
对于式（2）

由式（1）

只与P值（概率值）有关，这是一个定值，能够影响 的大小的是

这个就是交叉熵的表达式
交叉熵：

由此可以看出，降低交叉熵，可以保证P、Q的值越来越接近，即标签与预测集越来越接近，则设计的算法模型越好。
完毕。