1. 熵
要想明白交叉熵(Cross Entropy)的意义,可以从熵(Entropy) -> KL散度(Kullback-Leibler Divergence) -> 交叉熵这个顺序入手。
通用的说,熵(Entropy)被用于描述一个系统中的不确定性(the uncertainty of a system)。 放在信息论的语境里面来说,就是一个事件所包含的信息量。
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200910093353977.png#pic_center)
2. KL散度
KL散度,有时候也叫KL距离,一般被用于计算两个分布之间的不同。看名字似乎跟计算两个点之间的距离也很像,但实则不然,因为KL散度不具备有对称性。在距离上的对称性指的是A到B的距离等于B到A的距离。
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200910094642222.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQzMzk1NzE5,size_16,color_FFFFFF,t_70#pic_center)
3.交叉熵
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200910094754278.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQzMzk1NzE5,size_16,color_FFFFFF,t_70#pic_center)