通俗理解交叉熵

转载 2018年04月17日 11:21:31
作者:CyberRep
链接:https://www.zhihu.com/question/41252833/answer/195901726
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

讨论这个问题需要从香农的信息熵开始。

小明在学校玩王者荣耀被发现了,爸爸被叫去开家长会,心里悲屈的很,就想法子惩罚小明。到家后,爸爸跟小明说:既然你犯错了,就要接受惩罚,但惩罚的程度就看你聪不聪明了。这样吧,我们俩玩猜球游戏,我拿一个球,你猜球的颜色,你每猜一次,不管对错,你就一个星期不能玩王者荣耀,当然,猜对,游戏停止,否则继续猜。当然,当答案只剩下两种选择时,此次猜测结束后,无论猜对猜错都能100%确定答案,无需再猜一次,此时游戏停止(因为好多人对策略1的结果有疑问,所以请注意这个条件)。


题目1:爸爸拿来一个箱子,跟小明说:里面有橙、紫、蓝及青四种颜色的小球任意个,各颜色小球的占比不清楚,现在我从中拿出一个小球,你猜我手中的小球是什么颜色?

为了使被罚时间最短,小明发挥出最强王者的智商,瞬间就想到了以最小的代价猜出答案,简称策略1,小明的想法是这样的。


在这种情况下,小明什么信息都不知道,只能认为四种颜色的小球出现的概率是一样的。所以,根据策略1,1/4概率是橙色球,小明需要猜两次,1/4是紫色球,小明需要猜两次,其余的小球类似,所以小明预期的猜球次数为:

H = 1/4 * 2 + 1/4 * 2 + 1/4 * 2 + 1/4 * 2 = 2


题目2:爸爸还是拿来一个箱子,跟小明说:箱子里面有小球任意个,但其中1/2是橙色球,1/4是紫色球,1/8是蓝色球及1/8是青色球。我从中拿出一个球,你猜我手中的球是什么颜色的?

小明毕竟是最强王者,仍然很快得想到了答案,简称策略2,他的答案是这样的。


在这种情况下,小明知道了每种颜色小球的比例,比如橙色占比二分之一,如果我猜橙色,很有可能第一次就猜中了。所以,根据策略2,1/2的概率是橙色球,小明需要猜一次,1/4的概率是紫色球,小明需要猜两次,1/8的概率是蓝色球,小明需要猜三次,1/8的概率是青色球,小明需要猜三次,所以小明预期的猜题次数为:

H = 1/2 * 1 + 1/4 * 2 + 1/8 * 3 + 1/8 * 3= 1.75


题目3:其实,爸爸只想让小明意识到自己的错误,并不是真的想罚他,所以拿来一个箱子,跟小明说:里面的球都是橙色,现在我从中拿出一个,你猜我手中的球是什么颜色?

最强王者怎么可能不知道,肯定是橙色,小明需要猜0次。


上面三个题目表现出这样一种现象:针对特定概率为p的小球,需要猜球的次数 = \log_2 \frac{1}{p} ,例如题目2中,1/4是紫色球, \log_2 4 = 2 次,1/8是蓝色球, \log_2 8 = 3次。那么,针对整个整体,预期的猜题次数为: \sum_{k=1}^N p_k \log_2 \frac{1}{p_k} ,这就是信息熵,上面三个题目的预期猜球次数都是由这个公式计算而来,第一题的信息熵为2,第二题的信息熵为1.75,最三题的信息熵为1 * \log 1 = 0 那么信息熵代表着什么含义呢?

信息熵代表的是随机变量或整个系统的不确定性,熵越大,随机变量或系统的不确定性就越大。上面题目1的熵 > 题目2的熵 > 题目3的熵。在题目1中,小明对整个系统一无所知,只能假设所有的情况出现的概率都是均等的,此时的熵是最大的。题目2中,小明知道了橙色小球出现的概率是1/2及其他小球各自出现的概率,说明小明对这个系统有一定的了解,所以系统的不确定性自然会降低,所以熵小于2。题目3中,小明已经知道箱子中肯定是橙色球,爸爸手中的球肯定是橙色的,因而整个系统的不确定性为0,也就是熵为0。所以,在什么都不知道的情况下,熵会最大,针对上面的题目1~~题目3,这个最大值是2,除此之外,其余的任何一种情况,熵都会比2小。

所以,每一个系统都会有一个真实的概率分布,也叫真实分布,题目1的真实分布为(1/4,1/4,1/4,1/4),题目2的真实分布为(1/2,1/4,1/8,1/8),而根据真实分布,我们能够找到一个最优策略,以最小的代价消除系统的不确定性而这个代价大小就是信息熵,记住,信息熵衡量了系统的不确定性,而我们要消除这个不确定性,所要付出的【最小努力】(猜题次数、编码长度等)的大小就是信息熵。具体来讲,题目1只需要猜两次就能确定任何一个小球的颜色,题目2只需要猜测1.75次就能确定任何一个小球的颜色。

现在回到题目2,假设小明只是钻石段位而已,智商没王者那么高,他使用了策略1,即


爸爸已经告诉小明这些小球的真实分布是(1/2,1/4, 1/8,1/8),但小明所选择的策略却认为所有的小球出现的概率相同,相当于忽略了爸爸告诉小明关于箱子中各小球的真实分布,而仍旧认为所有小球出现的概率是一样的,认为小球的分布为(1/4,1/4,1/4,1/4),这个分布就是非真实分布。此时,小明猜中任何一种颜色的小球都需要猜两次,即1/2 * 2 + 1/4 * 2 + 1/8 * 2 + 1/8 * 2 = 2。

很明显,针对题目2,使用策略1是一个坏的选择,因为需要猜题的次数增加了,从1.75变成了2,小明少玩了1.75的王者荣耀呢。因此,当我们知道根据系统的真实分布制定最优策略去消除系统的不确定性时,我们所付出的努力是最小的,但并不是每个人都和最强王者一样聪明,我们也许会使用其他的策略(非真实分布)去消除系统的不确定性,就好比如我将策略1用于题目2(原来这就是我在白银的原因),那么,当我们使用非最优策略消除系统的不确定性,所需要付出的努力的大小我们该如何去衡量呢?

这就需要引入交叉熵,其用来衡量在给定的真实分布下,使用非真实分布所指定的策略消除系统的不确定性所需要付出的努力的大小

正式的讲,交叉熵的公式为: \sum_{k=1}^N p_k \log_2 \frac{1}{q_k} ,其中 p_k 表示真实分布, q_k 表示非真实分布。例如上面所讲的将策略1用于题目2,真实分布 p_k = (\frac {1}{2},\frac {1}{4},\frac {1}{8},\frac {1}{8}) , 非真实分布 q_k = (\frac {1}{4},\frac {1}{4},\frac {1}{4},\frac {1}{4}) ,交叉熵为 \frac{1}{2} * \log_2 4 + \frac{1}{4} * \log_2 4 + \frac{1}{8} * \log_2 4 + \frac{1}{8} * \log_2 4 = 2 ,比最优策略的1.75来得大。

因此,交叉熵越低,这个策略就越好,最低的交叉熵也就是使用了真实分布所计算出来的信息熵,因为此时 p_k = q_k ,交叉熵 = 信息熵。这也是为什么在机器学习中的分类算法中,我们总是最小化交叉熵,因为交叉熵越低,就证明由算法所产生的策略最接近最优策略,也间接证明我们算法所算出的非真实分布越接近真实分布。


最后,我们如何去衡量不同策略之间的差异呢?这就需要用到相对熵,其用来衡量两个取值为正的函数或概率分布之间的差异,即:

KL(f(x) || g(x)) = \sum_{ x \in X} f(x) * \log_2 \frac{f(x)}{g(x)}

现在,假设我们想知道某个策略和最优策略之间的差异,我们就可以用相对熵来衡量这两者之间的差异。即,相对熵 = 某个策略的交叉熵 - 信息熵(根据系统真实分布计算而得的信息熵,为最优策略),公式如下:

KL(p || q) = H(p,q) - H(p) = \sum_{k=1}^N p_k \log_2 \frac{1}{q_k} - \sum_{k=1}^N p_k \log_2 \frac{1}{p_k} = \sum_{k=1}^N p_k \log_2 \frac{p_k}{q_k}

所以将策略1用于题目2,所产生的相对熵为2 - 1.75 = 0.25.

理解交叉熵

交叉熵公式 H(p,q)= 交叉熵是用于度量两个分部距离的 如度量两片文章相似度时,i代表第i个单词,p(i)代表这个单词出现频率 如将其作为神经网络误差函数时 y为预测值,a为实际输出值,输出...
  • Yan456jie
  • Yan456jie
  • 2017-04-13 17:44:02
  • 2389

深度学习中的交叉熵误差原理

  • 2017年12月07日 18:22
  • 684KB
  • 下载

如何直观理解交叉熵及其优势?

在统计学中,损失函数是一种衡量系统错误程度的函数。而在有监督学习模型里,损失函数则是衡量模型对样本预测值与样本真实标签之间差异程度的方法。最近用到了交叉熵,觉得有必要弄明白交叉熵到底是什么原理及优势,...
  • cherrylvlei
  • cherrylvlei
  • 2016-11-06 12:12:40
  • 3591

一文搞懂交叉熵在机器学习中的使用,透彻理解交叉熵背后的直觉

关于交叉熵在loss函数中使用的理解 交叉熵(cross entropy)是深度学习中常用的一个概念,一般用来求目标与预测值之间的差距。以前做一些分类问题的时候,没有过多的注意,直接调用现成的库,用...
  • tsyccnh
  • tsyccnh
  • 2018-01-25 16:45:50
  • 407

理解交叉熵作为损失函数在神经网络中的作用

交叉熵的作用通过神经网络解决多分类问题时,最常用的一种方式就是在最后一层设置n个输出节点,无论在浅层神经网络还是在CNN中都是如此,比如,在AlexNet中最后的输出层有1000个节点: 而即便...
  • chaipp0607
  • chaipp0607
  • 2017-06-18 15:59:10
  • 4655

理解交叉熵损失(Cross-Entropy)

理解交叉熵损失字符集编码字符集编码的意义在于将数据集进行有效压缩。 假设在一个文档中只出现了a、b、c、d、e 5种字符,其占比如下表: 字符 a b c d e 占比 ...
  • coderTC
  • coderTC
  • 2017-06-28 16:29:11
  • 1068

深度学习名词4:交叉熵

1、交叉熵的定义: 在信息论中,交叉熵是表示两个概率分布p,q,其中p表示真实分布,q表示非真实分布,在相同的一组事件中,其中,用非真实分布q来表示某个事件发生所需要的平均比特数。从这个定义中,我们...
  • Julialove102123
  • Julialove102123
  • 2017-09-13 09:02:34
  • 284

【通俗理解】区块链

各位童鞋,好久不见~今天开工大吉,先给大家讲个相亲的故事:女孩:你有车吗?男孩摇头。女孩:你有房吗?男孩摇头。“什么都没有也好意思来相亲”,女孩很失望,转身欲离开。“等等”,男孩从口袋中掏出了一个硬盘...
  • L70AShC3Q50
  • L70AShC3Q50
  • 2018-02-22 00:00:00
  • 142

通俗的理解傅里叶变换

这里转载一篇关于通俗理解傅里叶变换的文章很好,很受用 网址如下:http://blog.jobbole.com/70549/...
  • u012521552
  • u012521552
  • 2016-08-30 22:00:43
  • 625

经典损失函数—交叉熵

通过神经网络解决多分类问题最常用的方法是设置n个输出节点,其中n为类别的个数,对每一个样例,神经网络都会得到一个n维数组作为输出结果,每一个维度对应一个类别,那么如何判断一个输出向量和期望向量有多近呢...
  • lewis1993_cpapa
  • lewis1993_cpapa
  • 2018-03-18 10:50:07
  • 53
收藏助手
不良信息举报
您举报文章:通俗理解交叉熵
举报原因:
原因补充:

(最多只允许输入30个字)