![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
信息论与编码
文章平均质量分 79
The_last_knight
这个作者很懒,什么都没留下…
展开
-
01 信源的熵
信源的熵自信息如何度量你获得的信息量的大小,比如有人告诉你某个地方地震了,那么这个信息量对你来说比较大,因为地震不是经常发生;如果有人告诉你某个地方有雾霾,这个信息量就比较小,因为有雾霾这个事情很常见。通过这个例子,我们可以知道,信息量的大小应该与某件事情发生的概率有关,这件事情发生的概率越低,当这个事情发生时,你获得的信息量就越大,所以信息量的大小应该是与概率的大小成反比的。并且,如果一个...原创 2019-05-04 14:57:43 · 6519 阅读 · 0 评论 -
02 交互信息量
交互信息量信源的信息熵解决了定量估算信源每发出一个符号提供的平均信息量这个信源的核心问题,对于由信源、信道和信宿组成的通信系统来说,最根本的问题,还在于如何定量估算信宿收到消息后,从消息中获取多少信息的问题,也就是信息传输问题。信道的数学模型考虑最简单的信道,单符号离散信道,输入端允许输出rrr中不同的符号,输出端相应输出sss中不同的符号,如下图所示p(bj/ai)p(b_j/a_...原创 2019-05-04 15:04:12 · 1477 阅读 · 0 评论