- 博客(1)
- 资源 (2)
- 收藏
- 关注
原创 关于相对熵(KL距离)的理解
定义:两个概率质量函数为p(x)和q(x)之间的相对熵或KL距离定义为 D(p||q)=∑x∈χp(x)logp(x)q(x) 理解 如果已知随机变量的真实分布为p,可以构造平均描述长度为H(p)的码,但是,如果使用针对分布q的编码,那么平均意义上就需要∑x∈χp(x)log1q(x)(记作H(p||q))比特来描述这个随机变量。那么可以这样定义D(p||h) D(p||q
2014-11-03 19:47:28 12314
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人