信息论
文章平均质量分 85
xuejianbest
这个作者很懒,什么都没留下…
展开
-
自信息
有时候我们会说“信息量好大”,但是究竟怎么比较信息量的大小呢?我们需要量化信息量的值。首先根据直觉,信息量值越大应该包含的信息越多。 举个例子,你扔一个骰子,我不知道点数,你知道并告诉我。 * 你说“点数不大于6”,这句话的信息量应该等于0,因为我猜都猜的到,点数不大于6的概率是1,这句话没有带给我任何信息; * 你说“点数不大于5”,这句话的信息量应该大于0,但是并不...原创 2018-05-21 13:53:53 · 2940 阅读 · 0 评论 -
信息熵
上篇文介绍了信息量的概念,针对一个已经发生了的随机事件,它传递给我们一定的信息量。那如果是一个还没有发生的随机事件,我们该怎么度量它可能带给我们的信息量呢?度量一个随机变量的信息量就用到这篇文章将要介绍的信息熵概念。先说什么是随机变量: 随机变量X是一个函数,其将一个样本空间S(样本空间是一个随机事件所有可能取值的集合),映射到一个数集Y。如扔一次硬币是一个随机变量:X(实际上仍一...原创 2018-05-21 13:54:49 · 2923 阅读 · 0 评论