- 原理部分:要想搞懂交叉熵需要先清楚一些概念,顺序如下:==1.自信息量—>2.信息熵
(熵)
—>3.相对熵(KL散度)
—>4.交叉熵==
1.自信息量随机事件发生概率对数的负值为该随机事件的自信息量,记作。设的发生概率为,则其自信息为:
当,即随机事件,不发生时,定义为无限大;当,即随机事件为确定事件必然发生时,;对于,非负。
对数的底决定自信息量的单位。如果以2为底,信息量单位为比特(bit)(信息论中常用);如果以e为底数,取自然对数单位为奈特(nat);如果以10为底,单位为迪特(det)。
举个例子:
- 冬季某天哈尔滨将下雪,这句话的发生概率很大(不确定性很小),所以信息量就小。
- 夏季某天吐鲁番将下雪,这句话的发生概率很小(不确定性很大),所以信息量就大。