交叉熵

原始公式

H=0.5*1 + 0.25*2 + 0.25*2 

   =1.5

以上，这是真实概率下，求得答案所需最小熵值

 

 

倘若人们搞错了概率分布（得到了错误的信息）

此时

    概率p    分叉数n改变了（错误的分叉数）

A  0.25       2

B  0.25       2

C  0.5         1

 

下图，为交叉熵

用真实概率p，错误的n，计算得到的熵，叫做交叉熵

交叉熵 与 信息熵的差叫 相对熵

交叉熵=信息熵+相对熵