交叉熵

交叉熵理论

交叉熵与熵相对，如同协方差与方差。

熵考察的是单个的信息（分布）的期望：

H(p)=−∑i=1np(xi)logp(xi)

交叉熵考察的是两个的信息（分布）的期望：

H(p,q)=−∑i=1np(xi)logq(xi)

如果有两个离散分布p（０）＝１／２，ｐ（１）＝１／２，ｑ（０）＝１／３，ｑ（１）＝２／３，则Ｃｒｏｓｓ－Ｅｎｔｒｏｐｙ（ｐ，ｑ）的值为：ｌｏｇ（３）－１／２ｌｏｇ（２）