交叉熵 自我理解

 1.交叉熵

                H(p,q)=−∑p(xi)logq(xi)

用一个二分类模型预测一个物体是猫还是狗的的例子来说：

        比如有一个物体，它是狗，对应的真实分布是：0（猫），1狗，然后模型预测，预测出的分布为： 0.3（猫），0.7（狗），那么要衡量这个模型预测的差异（损失）就用交叉熵。

         那交叉熵就是衡量模型预测的两个概率分布之间的差异，就是损失；

对应上式中，P(Xi)是目标真实分布，Q(Xi)是预测的分布，目的就是训练模型让其预测分布Q(Xi)无限接近P(Xi)。

参考：

交叉熵（Cross Entropy） - chenzhen0530 - 博客园