两种交叉熵损失函数的异同

在学习机器学习的时候，我们会看到两个长的不一样的交叉熵损失函数。 
假设我们现在有一个样本 {x,t}{x,t}，这两种损失函数分别是。

• −tjlog(yj)−tjlog(yj)， t_j说明样本的ground-truth是第j类。

• −∑itilog(yi)+(1−ti)log(1−yi)−∑itilog(yi)+(1−ti)log(1−yi)

这两个都是交叉熵损失函数，但是看起来长的却有天壤之别。为什么同是交叉熵损失函数，长的却不一样呢？

因为这两个交叉熵损失函数对应不同的最后一层的输出。第一个对应的最后一层是softmax，第二个对应的最后一层是sigmoid。

如果看到这个答案就明白了的话，就没必要往下看了，如果感觉云里雾里的话，请听细细分解。

首先来看信息论中交叉熵的定义： 

−∫p(x)logg(x)dx−∫p(x)logg(x)dx

交叉熵是用来描述两个分布的距离的，神经网络训练的目的就是使  g(x)g(x)  逼近  p(x)p(x) 。

现在来看softmax作为最后一层的情况。g(x)g(x)是什么呢？就是最后一层的输出 yy 。p(x)p(x)是什么呢？就是我们的one-hot标签。我们带入交叉熵的定义中算一下，就会得到第一个式子： 

−tjlog(yj)−tjlog(yj)

• jj : 样本xx属于第jj类。

再来看sigmoid作为最后一层的情况。sigmoid作为最后一层输出的话，那就不能吧最后一层的输出看作成一个分布了，因为加起来不为1。现在应该将最后一层的每个神经元看作一个分布，对应的 targettarget 属于二项分布(target的值代表是这个类的概率)，那么第 ii 个神经元交叉熵为：

tilog(yi)+(1−ti)log(1−yi)tilog(yi)+(1−ti)log(1−yi)

，所以最后一层总的交叉熵损失函数是

−∑itilog(yi)+(1−ti)log(1−yi)−∑itilog(yi)+(1−ti)log(1−yi)

。