信息论
xiaopihaierletian
这个作者很懒,什么都没留下…
展开
-
解析信息论中的熵
定义:如果 X 是一个离散随机变量,它的取值空间为S, 那么X的熵(entropy)定义为 the average information in the outcomes of X produced over n trials as n becomes arbitrarily large,并用符号H(X)表示。例如,如果我们投掷一枚均匀的硬币,那么这个事件的熵就等于1bit,因原创 2017-06-13 20:46:50 · 702 阅读 · 0 评论 -
差分熵与Kullback–Leibler散度
一、差分熵(Differential Entropy)我们已经在另外一篇文章(http://blog.csdn.net/baimafujinji/article/details/6469645)里介绍过香农熵的概念。一个非常重要的前提是,我们所讨论的香农熵是对离散型随机变量X而言的。现在我们要把这一概念推广到连续型随机变量的情况,此时便会得到一个非常重要的概念——差分熵。转载 2017-06-13 21:12:24 · 8389 阅读 · 0 评论