平均符号熵的计算公式_交叉熵(Cross Entropy)从原理到代码解读

交叉熵(Cross Entropy)是Shannon(香浓)信息论中的一个概念，在深度学习领域中解决分类问题时常用它作为损失函数。

• 原理部分：要想搞懂交叉熵需要先清楚一些概念，顺序如下：==1.自信息量—>2.信息熵(熵)—>3.相对熵(KL散度)—>4.交叉熵==

1.自信息量随机事件发生概率对数的负值为该随机事件的自信息量，记作。设的发生概率为，则其自信息为:

当，即随机事件，不发生时，定义为无限大；当，即随机事件为确定事件必然发生时，；对于，非负。

对数的底决定自信息量的单位。如果以2为底，信息量单位为比特(bit)(信息论中常用)；如果以e为底数,取自然对数单位为奈特(nat)；如果以10为底，单位为迪特(det)。

举个例子：

•  冬季某天哈尔滨将下雪，这句话的发生概率很大(不确定性很小)，所以信息量就小。
•  夏季某天吐鲁番将下雪，这句话的发生概率很小(不确定性很大)，所以信息量就大。