- 博客(1)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 关于相对熵（KL距离）的理解
定义：两个概率质量函数为p(x)和q(x)之间的相对熵或KL距离定义为 D(p||q)=∑x∈χp(x)logp(x)q(x) 理解 如果已知随机变量的真实分布为p，可以构造平均描述长度为H(p)的码，但是，如果使用针对分布q的编码，那么平均意义上就需要∑x∈χp(x)log1q(x)（记作H(p||q)）比特来描述这个随机变量。那么可以这样定义D(p||h) D(p||q
2014-11-03 19:47:28
12314
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人