相对熵 vs. 交叉熵

如何理解相对熵(KL散度)他和交叉熵(crossentropy)的区别:

1. 信息熵，ground truth分布，完美编码.
2. 交叉熵，prediction分布，不完美编码
3. 相对熵，交叉熵-信息熵(交叉熵必定大于信息熵)，用来衡量ground truth和prediction这两个分布之间的差异

因为交叉熵必定大于信息熵，若是用交叉熵作为损失，有利于模型预测的分布往真实分布(信息熵)靠近。所以，机器学习里常用交叉熵(crossentropy)来计算分类损失。

而相对熵本来就是一个衡量差异的相对概念，不太适合作为一般的损失函数，个人觉得是因为他在一般分类上优化起来困难(比方说，预测分布和真实分布相差不多的情况，相对熵就很小，但是交叉熵仍旧比较大)

数学不行，只能直觉理解，头疼

参考：
如何通俗的解释交叉熵与相对熵？@小锋子Shawn的回答