一.交叉熵损失函数形式
现在给出三种交叉熵损失函数的形式,来思考下分别表示的的什么含义。
![](https://i-blog.csdnimg.cn/blog_migrate/6720a042e64d4cb20e0c60592257b00e.png)
--式子1
![](https://i-blog.csdnimg.cn/blog_migrate/7353be7677f8f230c31cc89eed22613c.png)
--式子2
![](https://i-blog.csdnimg.cn/blog_migrate/703c523cc7e651db7a4671658d924050.png)
--式子3
解释下符号,m为样本的个数,C为类别个数。上面三个式子都可以作为神经网络的损失函数作为训练,那么区别是什么?
■1》式子1,用于那些类别之间互斥(如:一张图片中只能保护猫或者狗的其中一个)的单任务分类中。连接的 softmax层之后的概率分布。
tensorflow中的函数为: tf.nn.softmax_cross_entropy_with_logits
■2》式子2,用于那些类别之间不存在互斥关系(如:一张图片中可有猫和狗两种以上的类别同时存在)的多任务学习分类中。最后一层的每个节点不在是softmax函数的输出了,而是sigmoid。把每个节点当成一个完整的分布,而式子1是所有节点组合程一个完整分布。
tensorflow中的函数为:tf.nn.sigmoid_cross_entropy_with_logits
■3》式子3,用于最后一层只有一个节点的二分类任务
二.交叉熵损失意义
要解释交叉熵损失函数的意义,我认为应该从熵的根源说起。这里我不介绍熵作者呀,来源呀什么的不再介绍了(主要是懒),哈哈!)这里讲的顺序是:信息量--》信息熵--》交叉熵
1.信息量
意义:
如果一个事件发生的概率为p,那么获知该信息发生能给到我们
的信息量(可以理解为意外程度)
![](https://i-blog.csdnimg.cn/blog_migrate/27b290e0658e624c095f3f47e87a1cae.png)
例子:巴西跟中国乒乓球比赛,历史上交手64次,其中中国获胜63次,那么63/64是赛前普遍认为中国队获胜的概率,那么这次中国获胜的信息量有多大?
![](https://i-blog.csdnimg.cn/blog_migrate/2122b1ecfcbf4533ce08a3dbe7fbd6df.png)
如果这次是巴西获胜,那么带给我们的信息量为:
![](https://i-blog.csdnimg.cn/blog_migrate/47780d12511ed7e1790e656e48fdcce8.png)
单位:bit
如果一件事件的发生概率为:100%,带给我们的信息量为:0
通俗点讲就是,如果一件事情,本身发生的概率很大,如果再次发生,我们并没有觉得有什么好奇的。但是一件发生概率很小的事情发生了,我们就会非常惊讶,它能给到我们的信息就越有价值。例如:太阳每天都是从东边出来,这个概率几乎是1,所以我们都其以为常,没什么好惊讶的,但是某天太阳从西边出来了,这个时候,打破了我们的常识,这个概率非常小的事件居然发生了,我们就会非常惊讶,它给我们信息量是非常大的,也许我们可以根据这个现象发现一种新的东西。
2.信息熵
意义:
用来做信息的杂乱程度的量化描述。
定义:
![](https://i-blog.csdnimg.cn/blog_migrate/75bc5fc4e1870629b88d6d08eb5ec4ae.png)
1.中国队获胜概率: 63/64,巴西获胜概率:1/64,那么信息熵为:
![](https://i-blog.csdnimg.cn/blog_migrate/eb6cb89fabdc66998a44fd808b1ff9e5.png)
2.中国队获胜概率: 1/2,巴西获胜概率:1/2,那么信息熵为:
![](https://i-blog.csdnimg.cn/blog_migrate/327800abeee2f694cd30890aa91659ee.png)
3.中国队获胜概率: 1,巴西获胜概率:0,那么信息熵为:
![](https://i-blog.csdnimg.cn/blog_migrate/18d6fe1f3b345afc1558210a2078727a.png)
结论:
信息越确定,越单一,信息熵就越小,
信息越不确定,越混乱,信息熵就越大。
注意:这里的log以2为底,实际上可以与e,10等其他为底,主要对比的时候统一就好。从计算机角度来看,计算机只有0,1两位,用2比较符合。
3.交叉熵
意义:
衡量真实分布和预测的分布的差异情况
离散形式为:
![](https://i-blog.csdnimg.cn/blog_migrate/653f04b8be6996e3a1c3891b09f1f95b.png)
其中,p(x)为真实概率,q(x)为预测概率
从信息量的角度,如果是真是真实的概率,那么给到我们的信息熵为:
![](https://i-blog.csdnimg.cn/blog_migrate/9928ce172406b163d6bbd9c777886279.png)
如果是预测分布,改到我们信息熵(可以简单理解为信息量)为:
![](https://i-blog.csdnimg.cn/blog_migrate/fe1b8767a88df9fd2cac668c1875e9d5.png)
信息熵的差异为:
![](https://i-blog.csdnimg.cn/blog_migrate/d3bb116df54a9a538a76b4b325d17093.png)
这也叫:
K-L散度
可以看出,只有当q(x)=p(x)时候差异为:0
K-L散度始终是>=0,但是不知道怎么证明(我还没推导出来惭愧,以后推导出来再补充,如果有读者推出来,麻烦评论,非常感谢!)
问题:
为什么大多数情况,我们都用交叉熵而不是K-L散度作为损失函数?
我来分析下:仔细观察k-l散度,如果是多分类时候,one-hot形式【0,1,0,0】,那么把p(x)=0,1,0,0,带入K-L散度函数,那么其实跟交叉熵形式是一样的。
例如:在多一个4分类任务时候,计算其中一个样本的第2个类别损失,其one-hot形式,【0,1,0,1】,模型预测出来的概率分布为:【0.1,0.6,0.2,0.1】
那么如果是K-L散度作为损失,那么:
![](https://i-blog.csdnimg.cn/blog_migrate/d59f1d312cdb4409f45cb70043494b26.png)
实际就是:-p(x)*log(q(x))
这下明白了吧。
参考:
2.
https://www.reddit.com/r/MachineLearning/comments/4mebvf/why_train_with_crossentropy_instead_of_kl/
3.书籍《白话大数据》第六章信息论