深度学习自信息、熵、交叉熵

大牛牛+

已于 2022-05-18 15:03:18 修改

阅读量1.3k

点赞数 2

分类专栏：深度学习文章标签： python 深度学习

于 2022-03-25 12:41:00 首次发布

本文链接：https://blog.csdn.net/qq_52209929/article/details/123731087

版权

5 篇文章 0 订阅

订阅专栏

自信息：一个随机事件所包含的信息量

对于一个随机变量 𝑋（取值集合为 𝒳，概率分布为 𝑝(𝑥), 𝑥 ∈ 𝒳）

当 𝑋 = 𝑥 时的自信息𝐼(𝑥)定义为： 𝐼(𝑥) = − log 𝑝(𝑥)

熵为自信息的数学期望

也可用来衡量随机事件的不确定性，如下例兔的熵大于猫的（编码长度：3 > 1）

对每个可能性事件进行编码，计算他们的编码长度，最短的为熵

类似哈夫曼树，编码不能有二义性：

例：四种事件的编码分别为 10、11、 1、110，前两种编码和后两种编码都可组成1110的编码段

熵的计算公式： $Entrtopy=-\sum _{i}P(i)log_{2}P(i)$

此例的熵为

$50% * (-log_{2}50%)+25%* (-log_{2}50%) + 12.5% * (-log_{2}12.5%) + 12.5 * (-log_{2}12.5%)$

=1.75,与方法3相同

我们用实际的概率分布y和预测的概率分布y_hat进行交叉熵运算

$CrossEntropy=-\sum _{i}y_{P(i)} log\hat{y}_{P(i)}$

例题：动物数据集中有四种动物，每张照片的label都为one-hot编码

独热编码(one-hot encoding)：一个向量，分量和输出类别一样多，类别对应的分量为1其他为0

动物	猫	狗	猪	兔
label	[1,0,0,0]	[0,1,0,0]	[0,0,1,0]	[0,0,0,1]

熵： $-(1log_{2}1 + 0log_{2}0+0log_{2}0+0log_{2}0) = 0$

若两不同模型对猫的照片进行预测

模型1的交叉熵： $-(1log_{2}0.5 + 0log_{2}0.2+0log_{2}0.1+0log_{2}0.3) = 1$

模型2的交叉熵： $-(1log_{2}0.8 + 0log_{2}0.1+0log_{2}0.05+0log_{2}0.05) \approx 0.3219$

交叉熵越小离熵越近，越准确

$KL(p,q) = H(p,q) - H(p) = \sum_{x}p(x)log\frac{p(x)}{q(x)}$

设真实分布为 $p_{r}(y|x)$ ，预测分布为 $p_{\Theta }(y|x)$

KL散度为： $\sum_{y}p_{r}(y|x)log\frac{p_{r}(y|x)}{p_{\Theta }(y|x)}$

由于此处优化的是预测分布，与pr无关，所以可把log上的pr去掉

$-\sum_{y}p_{r}(y|x)log{p_{\Theta }(y|x)}$ 即为交叉熵

关注