信息论——熵——交叉熵

交叉熵:

交叉熵：主要用于度量两个概率分布间的差异性，交叉熵是表示两个概率分布p、q，其中p表示真实概率，q表示非真实概率。

公式:

$$H(p,q)=\sum_{i} p_ilog(\frac{1}{q_i})$$

例:

一支小组4个球队(a、b、c、d)，出现的概率分别为$p_i$=($\frac{1}{2}$,$\frac{1}{4}$,$\frac{1}{8}$,$\frac{1}{8}$)。非真实概率分布为$q_i$=($\frac{1}{4}$,
$\frac{1}{4}$,$\frac{1}{4}$,$\frac{1}{4}$)。

交叉熵计算过程如下:
=$p_1*log_2(\frac{1}{q_1})+p_2*log_2(\frac{1}{q_2})+p_3*log_2(\frac{1}{q_3})+p_4*log_2(\frac{1}{q_4})$
=$\frac{1}{2}*log_24+\frac{1}{4}*log_24+\frac{1}{8}*log_24+\frac{1}{8}*log_24$
=$1+\frac{1}{2}+\frac{1}{4}+\frac{1}{4}$
=2

结论

此题的交叉熵为2。