交叉熵

文章参考：

详解机器学习中的熵、条件熵、相对熵和交叉熵

一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉

1.信息量

一条信息的信息量大小和它的不确定性有直接的关系。可以认为，信息量的度量就等于不确定性的多少。

2.一个随机变量的分布效果可以用熵来衡量

比方说，某个事件的概率分布如下图所示：

则该事件的熵计算如下：

H(X) = -(0.7*log(0.7)+0.2*log(0.2)+0.1*log(0.1)) =