KL散度与交叉熵

三者的关系
2. KL散度=交叉熵-熵
3. 熵：可以表示一个事件A的自信息量，也就是A包含多少信息。
4. KL散度：可以用来表示从事件A的角度来看，事件B有多大不同，适用于衡量事件A，B之间的差异。
5. 交叉滴：可以用来表示从事件A的角度来看，如何描述事件B，适用于衡量不同事件B之间的差异
6. 对于不同的事件B，计算事件AB的KL散度时都同时减去事件A的熵（KL散度=交叉熵-熵（A）），因此，如果只是比较不同B事件之间的差异，计算交叉熵和计算KL散度是等价的。
7. 交叉熵、KL散度都不具备对称性
8. 总结：KL散度可以被用于计算代价，而KL散度=交叉熵-熵，在特定情况下最小化KL散度等价于最小化交叉熵。交叉熵的运算更简单，所以用交叉熵来当做代价。