信息论复习笔记

通信系统的模型：

信源------编码------信道------解码------信宿

编码：信源编码，信道编码

编码的目的：使消息能够在信道中传输

信源编码的目的：使冗余度最小，传输率R最大，有huffuman、pcm、线性预测、算术编码等，这一块包括图像处理、数据压缩

信道编码的目的：使抗干扰能力更强，能够对编码进行纠错，有bch、循环码、R-S等，主要有差错控制编码

1。信源编码在某种程度上与信道编码是矛盾的，因为冗余度大的时候，抗干扰能力更强，如何使冗余度小，而且抗干扰能力更强，就是我们需要研究的东西

2.通信的基本问题：要在某一端几乎近似或者准确的再现从另一端选择出来的消息

3数字通信系统模型：

信息论的关键：信息的定义、量化

0.1编码一般采用重复编码，然后进行多数判决，101表示1，001表示0.

对于二进制对称信道（BSC）：

0/1 存在一个p（原始误比特率），p在[0，0.5]的范围之内，使输出bit与输入bit不同

1.首先，定义信源速率是R，当R是1/3时，意味着信息传输速率是产生速率的三倍，就是说1s内产生1bit信息的同时，可以传送3bit的信息，这个时候可以在传输之前对它进行重复3次的编码。例如信源输出是10100，这时编码流为101001010010100，对于每个信源bit，接收者将接收到3个bit，当出现噪声干扰时，比如干扰了一个信源输出，变成10110，这时编码流也会改变。

2.对每个bit重复编码多次就能提高可靠度，R=1/(2n+1),n为正整数，即传输之前对信源重复编码2n+1次，并用多票判决准则进行译码，

3需要强调的是，对于p<0.5的BSC，当n趋近无穷，误码率趋近于0.

4长重复序列比短重复序列更有效

结论：当R很小的时候，即使有很多噪声，也能使误码率很低

shannon的贡献：

1.提出只要使R<C,C是信道容量，就可以使误码率Pe达到很小

有效性方面：率失真理论，数据压缩，信源编码

可靠性方面：信道编码，纠错编码

周炯磐  信息论基础  人民邮电出版社 1983

王育民 等 信息与编码理论  西北电讯  1986

姜丹  信息理论与编码  中国科大 1992

T.M. Cover  Elements of Information theory   John Wiley & Sons Inc. 1991

Richard E.Blahut  Principles and practice of information theory  1987

1.采用随机变量的方式描述信源

2.语音看作时间的函数，图片看作空间的函数

3信源发出的是一个随机过程

4无记忆信源：X：p（Xi，Xj）=p（Xi）p（Xj）

5。信息量：I(ai)=log(1/Pai)

6 哈特莱首先提出用对数度量信息，为什么是对数？

7 H（x）=E（Ii），各个信息量的平均值,表示随机变量的随机性

H（x）记为H（p1，p2,p3...)

8jensen不等式

(f(E(x))>E(f(x））错，恰好记反了)

学习是来记住公式的吗，要自己去推导，为什么？想起费曼的话，只会考试，而不会解决问题

jensen不等式是有前提条件的，（在凹函数的前提下，错！）

是在u型凸函数的条件下，

有E[f(x)]>f(E(x))

1.有用的不等式“

logx<=x-1

2熵的可加性公式：

H（XY）(联合熵）=H（X)+H(X|Y)（条件熵）

3.(p(bj|ai)=pij 错误）,p(bj|ai)=pji,  p(ai,bj)=pji*pi=pij*pj