Cross Entropy Loss

Cross Entropy Loss

使用softmax函数可以将特征向量映射为所属类别的概率，可以看作是预测类别的概率分布q(ci) ，有

 

其中ci为某个类别。

设训练数据中类别的概率分布为p(ci) ，那么目标分布p(ci)�(��) 和预测分布q(ci)�(��)的交叉熵为：

每个训练样本所属的类别是已知的，并且每个样本只会属于一个类别（概率为1），属于其他类别概率为0。具体的，可以假设有个三分类任务，三个类分别是：猫，猪，狗。现有一个训练样本类别为猫，则有：

p(cat)p(pig)p(dog)=1=0=0(4)(5)(6)(4)�(���)=1(5)�(���)=0(6)�(���)=0

通过预测得到的三个类别的概率分别为：q(cat)=0.6,q(pig)=0.2,q(dog)=0.2�(���)=0.6,�(���)=0.2,�(���)=0.2 ，计算p� 和q� 的交叉熵为：