math: 交叉熵(Cross-Entropy)

0. 交叉熵(Cross-Entropy)

假设现在有一个样本集中两个概率分布p,q,其中p为真实分布,q为非真实分布。假如,按照真实分布p来衡量识别一个样本所需要的编码长度的期望为:
H ( p ) = ∑ i p ( i ) ⋅ log ⁡ ( 1 p ( i ) ) H(p)=\sum_{i}{p(i) \cdot \log(\frac{1}{p(i)})} H(p)=ip(i)log(p(i)1)
但是,如果采用错误的分布q来表示来自真实分布p的平均编码长度,则应该是:
H ( p , q ) = ∑ i p ( i ) ⋅ log ⁡ ( 1 q ( i ) ) H(p,q)=\sum_{i}{p(i) \cdot \log(\frac{1}{q(i)})} H(p,q)=ip(i)log(q(i)1)
交叉熵是一个在ML领域经常会被提到的名词。主要用于度量两个概率分布间的差异性信息,其可在神经网络(机器学习)中作为损失函数, p p p 表示真实标记的分布, q q q 则为训练后的模型的预测标记分布,交叉熵损失函数可以衡量 p p p q q q 的相似性。交叉熵作为损失函数还有一个好处是使用 s i g m o i d sigmoid sigmoid 函数在梯度下降时能避免均方误差损失函数学习速率降低的问题,因为学习速率可以被输出的误差所控制.

关于熵的一些物理意义可以解释为:

  • 熵:事件A的信息量, 即A发生之后能够包含多少有用的信息。
  • 相对熵(KL散度):从事件A的角度上看,事件B有多大不同。
  • 交叉熵:如何从事件A的角度来描述事件B。
1. 信息量

假设 X X X是一个离散型随机变量,其取值集合为 X X X,概率分布函数为 p ( x ) = P r ( X = x ) , x ∈ X p(x)=Pr(X=x),x∈X p(x)=Pr(X=x),xX
,我们定义事件 X = x 0 X=x0 X=x0 的信息量为: I ( x 0 ) = − l o g ( p ( x 0 ) ) I(x0)=−log(p(x0)) I(x0)=log(p(x0)),可以理解为,一个事件发生的概率越大,则它所携带的信息量就越小,而当 p ( x 0 ) = 1 p(x0)=1 p(x0)=1 时,熵将等于0,也就是说该事件的发生不会导致任何信息量的增加。举个例子,小明平时不爱学习,考试经常不及格,而小王是个勤奋学习的好学生,经常得满分,所以我们可以做如下假设:

事件A:小明考试及格,对应的概率 P ( x A ) = 0.1 P(x_A)=0.1 P(xA)=0.1,信息量为:
I ( x A ) = − l o g ( 0.1 ) = 3.3219 I(x_A)=−log(0.1)=3.3219 I(xA)=log(0.1)=3.3219

事件B:小王考试及格,对应的概率 P ( x B ) = 0.999 P(x_B)=0.999 P(xB)=0.999,信息量为 I ( x B ) = − l o g ( 0.999 ) = 0.0014 I(x_B)=−log(0.999)=0.0014 I(xB)=log(0.999)=0.0014

可以看出,结果非常符合直观:小明及格的可能性很低(十次考试只有一次及格),因此如果某次考试及格了(大家都会说:XXX竟然及格了!),必然会引入较大的信息量,对应的I
值也较高。而对于小王而言,考试及格是大概率事件,在事件B发生前,大家普遍认为事件B的发生几乎是确定的,因此当某次考试小王及格这个事件发生时并不会引入太多的信息量,相应的 I I I值也非常的低。

2. 熵定义

那么什么又是熵呢?还是通过上边的例子来说明,假设小明的考试结果是一个0 ~ 1分布 X A X_A XA只有两个取值{0:不及格,1:及格},在某次考试结果公布前,小明的考试结果有多大的不确定度呢?你肯定会说:十有八九不及格!因为根据先验知识,小明及格的概率仅有0.1,90%的可能都是不及格的。怎么来度量这个不确定度?求期望!不错,我们对所有可能结果带来的额外信息量求取均值(期望),其结果不就能够衡量出小明考试成绩的不确定度了吗。
即:

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值