信息论与熵，交叉熵

多个事件同时发生的总信息量等于每个事件信息量的和.

小概率事件发生时，其所含信息量更大，当事件100%发生时，不含信息量，其形如下图函数，为-log函数。
熵是所有信息量的期望，如果一件事的事件空间由A、B、C组成：

不写底数，默认是以 2 为底。信息论中信息量单位通常采用比特，默认是以 2 为底的。
以 10 为底，会简写成 lg，信息量的单位是哈特。
以 e 为底，会简写成 ln，信息量的单位是纳特。
相对熵又称KL散度。其反应两个分布的近似程度：

值越小，近似程度越高。用来比较分类结果与标签：
下面是交叉熵的定义：

公式前半部分为熵，后半部分为交叉熵，通常只用比较交叉熵，通过最小化交叉熵，来进行优化。
注意，深度学习中，实际的q(x)，是输出结果经过sigmoid或者softmax计算的结果，其值介于【0，1之间】,满足概率0至1的特性。