相对熵(KL散度)

数学之美 专栏收录该内容
11 篇文章 5 订阅

今天开始来讲相对熵,我们知道信息熵反应了一个系统的有序化程度,一个系统越是有序,那么它的信息熵就越低,反

之就越高。下面是熵的定义

 

如果一个随机变量的可能取值为,对应的概率为,则随机变

的熵定义为

 

            

 

有了信息熵的定义,接下来开始学习相对熵。

 

Contents

 

   1. 相对熵的认识

   2. 相对熵的性质

   3. 相对熵的应用

 

 

1. 相对熵的认识

 

   相对熵又称互熵,交叉熵,鉴别信息,Kullback熵,Kullback-Leible散度(即KL散度)等。设

   是取值的两个概率概率分布,则的相对熵为

 

              

 

   在一定程度上,熵可以度量两个随机变量的距离。KL散度是两个概率分布P和Q差别的非对称性的度量。KL散度是

   用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的位元数。 典型情况下,P表示数据的真实分布,Q

   表示数据的理论分布,模型分布,或P的近似分布。

 

 

2. 相对熵的性质

 

   相对熵(KL散度)有两个主要的性质。如下

 

   (1)尽管KL散度从直观上是个度量或距离函数,但它并不是一个真正的度量或者距离,因为它不具有对称性,即

 

       

 

   (2)相对熵的值为非负值,即

 

       

 

       在证明之前,需要认识一个重要的不等式,叫做吉布斯不等式。内容如下

 

       

 

 

3. 相对熵的应用

 

   相对熵可以衡量两个随机分布之间的距离,当两个随机分布相同时,它们的相对熵为零,当两个随机分布的差别增

   大时,它们的相对熵也会增大。所以相对熵(KL散度)可以用于比较文本的相似度,先统计出词的频率,然后计算

   KL散度就行了。另外,在多指标系统评估中,指标权重分配是一个重点和难点,通过相对熵可以处理。

 

   在Julia中,有一个KLDivergence包,用来计算两个分布之间的K-L距离,它需要依赖Distributions包,用

   法详见:https://github.com/johnmyleswhite/KLDivergence.jl

 

             

 

 

评论 8 您还未登录,请先 登录 后发表或查看评论
©️2022 CSDN 皮肤主题:技术黑板 设计师:CSDN官方博客 返回首页

打赏作者

ACdreamers

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值