信息论自总结笔记(仍然在更新)

一、笔记基于的香农信息论（统计信息论），主要描述概念和数学的关系

这里主要是（信源、信道、单多符号、单多维、离散连续）之间的排列组合

1-单符号离散信源

通用概念：

信息：能消除的不确定性

信息量：

（自信息量，没噪声）

不确定性与可能性（概率）相关，是符合3个条件的对数函数

I(a)=-log p(a)

（定量描述”不确定性的消除“），通信前不确定性-通信后不确定性

一个事件提供的信息量

不确定性的消除量，即前后两个状态的当前信息量相减。

 熵的引入（概念迁移：混乱程度->不确定性）：

信息论关心：X的整体不确定性——不确定性越大，获取的信息越多。

信息熵：

信源整体信息测度的确定量，信源发每一个符号的平均信息量——各个符号自信息量的统计均值。

H(X)=∑(1,n)p(xi)I(xi) =-∑(i)pi*log(pi)

在计算时，认为当x＝0时 xlog(x)=0

平均不确定性的描述；也是随机遍历随机性的描述。

性质：对称性 非负性 确定性 扩展性 可加性 递增性 极值性 上凸性 最大离散熵定理

2-单符号离散信道

通用概念：

信道：（开始有噪声干扰了 (X→Y) ）

数学描述：条件转移概率+信道矩阵

--信源与信道的连接：
信源的符号集与信道的输入符号集完全一致，则信源可与信道直接相连；若不一 致，需要先进行编码。

--信源符号与信道输出符号的统计联系：
联合概率＝信源的先验概率分布×信道传递概率
输出第j个符号的概率＝输入符号与信道矩阵第j列对应相乘相加
通过输入符号概率和信道矩阵计算后验概率

互信函数:(I(ai;bj)=I(bj;ai))

其中，自信息量可表示为

 I(ai)=I(ai;ai)

 互信息的信息量：

I(a;b)=log(p(a/b))/p(a)=log1/(p(a)p(b))-log1/(p(ab))

正向（P（Y/X）作为传递概率）、反向（P（X/Y）作为传递概率）

交互信息量=log后验概率-log先验概率

条件交互信息量
 

平均交互信息量：

I(X;Y)=∑(i)∑(j)p(ab)I(a;b)
I(X;Y)=I(Y;X)=H(Y)-H(Y/X)<=H(Y)

疑义度 H(X/Y)

联合熵 H(XY)

噪声熵 H(Y/X) (反向疑义度)

条件熵 包括 疑义度、噪声熵(反向疑义度)

性质：非负性 极值性 不增性（串联信道、数据处理定理） 凸性

信道容量：一个给定信道的最大信息传输率

有界闭区域上，求约束极值（非齐次线性方程组求解）

求解信道容量充要条件：
若信道平均交互信息量达到信道容量，则匹配信源的符号集中，除了概率为零的符号以外，每个符号对输出随机变量提供的平均信息量相等，其值等于信道容量
反之，若除零概率以外的所有信源符号对输出随机变量提供的平均交互信息量相等，则该信源为匹配信源 

几种特殊无噪信道的信道容量
无噪无损（一一对应）信道
扩散信道
归并信道
对称信道

对称信道的信道容量：

-对称离散信道
（1）信道矩阵的每一行都是第一行的重新排列
（2）信道矩阵的每一列都是第一列的重新排列

-对称离散信道->强对称信道
（1）输入符号集 ，输出符号集
（2）每一符号的正确传递概率均为--，总的错误传递概率--均匀分布在其他r-1个错误传递概率上
强对称信道是一种特殊的对称信道，可根据对称信道的容量公式进行求解

-准对称离散信道
若输出字符的集合可以划分为若干子集，对每个子集有：
其前向转移矩阵中的每一行都是第一行的重排列；
其前向转移矩阵中的每一列都是第一列的重排列。
即每一个子集都是对称的

匹配信源：

使得平均交互信息量达到极大值（最大值）的是匹配信源

3-开始讨论其他的形式

之前的内容都是单符号离散的信源、信道。

总共有如下的组合

离散：单符号、多符号

连续：单维、多维

（1）多符号离散信源与信道

离散平稳信源的数学模型

多符号离散信源：这类信源每次输出的 不是一个单个的符号，而是一个符号序列。 在信源输出的序列中，每一位出现哪个符 号都是随机的，而且一般前后符号的出现 是有统计依赖关系的。

离散平稳信源的信息熵

无记忆信源：每个分量都是随机变量，都取值于同 一信源X，并且分量之间统计独立。

有记忆信源：即“有记忆性”使得已知第一个符号时，已经为第二个符号提供了一定的预报知识（信息故减少了有记忆信源每个消息的平均信息量。

平均符号熵：

非负性 随N的增加非递增性

极限熵：平稳信源的极限熵又称为熵率或极限信息量

离散平稳有记忆信源的极限熵

马尔可夫信源的极限熵

第一步：画状态转移图
第二步：判断各态历经性
第三步：解方程求状态极限概率
第四步：求极限熵
注意：起始时刻的状态概率不是状态极限概率

m阶马尔可夫信源——n步转移矩阵、分步转移概率特性

具有各态历经性的马尔可夫信源

各态历经性的判定方法：

方法1：穷举n步转移矩阵法
方法2：不可约性和非周期性

离散平稳有记忆信源的离散熵和极限熵  马尔可夫信源的基本理论

相对熵率：离散平稳有记忆信源的极限熵与 把此信源当作离散无记忆等概信源达到的最 大熵值之比

信息剩余度： 剩余度 = 1与相对熵率之差  （剩余度越大，实际的极限熵越小，这表明信源符号之间的 依赖关系越强，即符号之间的记忆长度越长。 当剩余度为零，表示信源符号间独立且等概分布。）

信息变差：信息变差＝最大熵－极限熵

独立并列信道VS离散无记忆信道的N次扩展信道

信道的剩余度: 信道剩余度 = -I(X;Y)

（2）单维连续信源和信道

连续信源的相对熵：

由于积分极限求出来是无穷大的，但两个状态相减时可以得到一个确定的值。

常见单维连续信源的相对熵  信息变差和熵功率  连续熵的变换性质  连续信源平均交互信息量的不变性  连续信道的信道容量

相对熵和信息熵的差异

雅可比行列式。

（3）多维连续信源与信道

随机过程的离散化

将时间、取值都连续的随机过程转换为离散的多维随机变量。

手段：傅里叶级数、傅里叶变换；时域采样定理、频域采样定理。

多维连续信源的熵

均匀分布
高斯分布

多维熵的性质（最大值、变换）

一维最大相对熵定理。

多维连续信道

多维连续信道的传输特性

香农公式：

高斯白噪声信道：