关于相对熵(KL距离)的理解

本文详细解释了相对熵或KL距离的概念及其在概率分布编码中的意义。通过比较真实分布与构造编码分布之间的差异,阐述了使用非最优编码时额外所需的比特数,从而揭示了信息编码效率的提升潜力。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

定义:两个概率质量函数为 p(x) q(x) 之间的相对熵或KL距离定义为

D(p||q)=xχp(x)logp(x)q(x)

理解

如果已知随机变量的真实分布为 p ,可以构造平均描述长度为 H(p) 的码,但是,如果使用针对分布 q 的编码,那么平均意义上就需要 xχp(x)log1q(x) (记作 H(p||q) )比特来描述这个随机变量。那么可以这样定义 D(p||h)

D(p||q)=H(p||q)H(p)=xχp(x)log1q(x)p(x)log1p(x)=xχp(x)logp(x)q(x)

总结就是,使用由 q 构造的编码将会在平均意义上比最优编码(由真实分布 p 构造的编码)长 D(p||q) 比特。

作业部落版本

https://www.zybuluo.com/a335031/note/43211

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值