为什么交叉熵（cross-entropy）可以用于计算代价？

先给出一个“接地气但不严谨”的概念表述:

熵:可以表示一个事件A的自信息量,也就是A包含多少信息。
KL散度:可以用来表示从事件A的角度来看,事件B有多大不同。
交叉熵:可以用来表示从事件A的角度来看,如何描述事件B。

一句话总结的话:KL散度可以被用于计算代价,而在特定情况下最小化KL散度等价于最小交叉熵。而交叉熵的运算更简单,所以用交叉熵来当做代价。

原文链接：
为什么交叉熵（cross-entropy）可以用于计算代价？