![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
文章平均质量分 65
勿念不悔
这个作者很懒,什么都没留下…
展开
-
信息论-信道容量
1 信道转移矩阵信道转移矩阵能够反映输入和输出的统计依赖关系1.1 信道分类信道可以分为无干扰信道和有干扰信道无干扰:输入和输出之间有确定的一一对应关系有干扰:输入和输出是一种统计依存的关系研究信道的目的:讨论信道中每个符号能够传送的信息量,信道信息传输率。使用平均互信息量I(X;Y)表示每个符号所能含有的平均互信息量的最大值,相应输入分布称为最佳分布。信道容量C与信源无关,只是信道转移概率的函数,不同的信道就有不同的信道容量,它反映了信道本身的传信能力。...原创 2021-07-04 10:47:06 · 4858 阅读 · 0 评论 -
信息论-复习笔记
1. 熵熵是一个随机变量不确定性的度量,对于一个离散型随机变量 [公式] ,其离散熵可以定义为:χ\chiχ表示为包含所有小xxx元素的集合,log以2为底使用熵表示随机变量不确定性,随机变量的不确定性越大,其熵值也就越大在计算机中的表示,也就是表示不确定结果的数量,在计算机中,要表示抛硬币的结果,需要用1 bit,要表示掷骰子的结果需要用log6 bit(实际表示时为向上取整3 bit)熵是平均意义上对随机变量的编码长度**熵实际上是随机变量XXX的函数log1/p(X)的期望...原创 2021-07-01 13:25:25 · 1803 阅读 · 0 评论