laugh哥的博客

信源无失真编码实质：熵总量是不变的，一个信源的分布也是不能改变的，我们能做的只是通过分组的手段，定义信道能传输的符号并且它和信源原始进行一一映射，使得编码后每一个符号尽可能携带更多的信息量，把平均码长缩短，达到压缩信源的目的。 渐进等同分割性质：：一个随机过程是非等概分布的，对它进行定长分割，把随机过程符号切割成段，每段的长度逐渐越来越大，结果发现：当长度足够大是，那么每一段的出现可能组合是等概分布的（段长足够大时，每一段出现的可能的组合几乎呈相同概率发生）.典型序列：假设一个信源的符号有x个，段长为...

目录一：连续信源 最大熵定理二：渐进均分性 1：随机变量收敛性 2：大数定律 3：AEP(渐进均分性) 4：典型集三：数据压缩一：连续信源1）连续随机变量的微分熵由概率密度函数可知：被积函数和区间的积分表示的是发生的概率。由于：连续随机变量的取值是无限个，不确定性为无限大。确定输出某值的信息量也是无穷大，这里丢掉无穷大那一项...

1：熵的凸性凸函数是定义在定义域为凸集的函数。1：凸集的形象解释：我们在集合C中取任意两个元素，在这两个元素之间画一条直线，如果这条直线上的每一点都属于C，则集合C叫凸集。2：上凸函数与下凸函数。看突出的部分，向下凸就是下凸函数，向上凸就是上凸函数。3：重要不等式统计平均可以看成一个加权线性组合，利用下凸函数性质即可得到该不等式相对熵的下凸性熵的上凸性离散随机变量的熵与相对熵的关系：这就好理解：常数+一个下凸函数的反=上凸函数TH：熵函数就是随..

一：熵的定义解释：,由于P(x)介于0-1之间，大于等于0.不等式：不等式说明了信源成等概分布时，熵值达到最大。二：联合熵和条件熵由于熵与概率分布有关，故而联合概率和条件概率也能定义熵；概率的链式法则以及贝叶斯公式也在熵的计算中可用。链式法则：韦恩图（形象刻画熵之间的关系）...

研究对象：允许一定失真的离散信源编码和连续信源编码。实际信息处理过程，往往存在失真： ①连续信源编码必然存在失真（不可能从根本上去除量化误差） ②一定范围的失真可以大幅度提高编码效率。(降低信息率有利于传输和处理） ③无失真编码并不总是必须的。比如：视觉和听觉对信号变化的灵敏度有限。本章核心：在允许一定失真的条件下，能够把信源信息压缩到什么程度。(描述信源所需bit的下界)一：失真测度1)限失真信源编码通信模型 因为这里只涉及信源编码问题，所以把信道的...

I(X,Y):信息传输率，表示信道实际传输的信息情况。C:信道容量，表示信道的传信能力，即：最大的传输信息量。信源与信道匹配：通过调整信源的输入分布，使得接受输出端获得的信息量达到或接近信道容量。信源编码和信道编码都是为了使信源和信道达到匹配。信源编码一般会假设信道是无损信道（信道理想),目的使得H(X)尽可能大；而信道编码是在假设信源熵很大的情况下（信源理想）降低损失熵即：H(X|Y).I(X,Y)=H(X)-H(X\Y):从而信源编码和信道编码都可以增大：平均互信息。一：噪声信道的编码..

信源编码基本概念：什么是信源编码，信源编码的类型 香农第一定理：无失真可变长信源编码定理 信源编码在数字通信系统所担当的角色，作用是什么？任务是什么？一：信源编码器信源编码定义 将信源输出的消息进行有效变换(指明处理对象),使其成为适合信道传输的符号序列，且使该序列组合的新信源的剩余度/剩余度尽可能减小。(指明两大任务）S:编码器的输入的原始信源符号，{}是单个信源符号的样本空间X:是码元集合，要求是适合信道传输的，信道认可的符号，称为“码元”是每...

一：离散对称信道的信道容量1：离散对称信道 若一个离散无记忆信道的信道矩阵中，每一行或每一列都由其他行或其他列同一组元素的不同排列，则称此信道为：离散对称信道。 识别时：行------第一行{}的置换；列-----第一列{}的置换。s种输入，r种输出。强对称信道：（均匀信道）二：对称离散信道的性质1：H(Y|X)=(s种输出,P的某一行的s种符号组成的熵)2:当P(X)等概输入，输出也是等概分布。（输入等概，输出等概）发现：...

如图：信源为且,信道有干扰，输出产生误码。请求出：以及注意文字叙述的对应，发出和收到信息都已知就是：xy

研究信道的目的是：研究信道能传输的最大信息量，即：信道最大传输能力。两个主要的信息测度函数:1):如何描述在信道中传输的消息的信息量的大小，用：平均互信息描述，属于信息传输率问题。2):信道中最大的信息传输率是多少，这是传信能力问题。本章重点：1):信道模型的建立，有着什么要素，表示方法是什么。2):平均互信息以及信道容量的概念及其计算。一：信道模型信道（信号的通道）的三要素：输入，输出，以及输入与输出之间的统计依赖关系。：离散信道的数学模型p(...