一、信源的分类
二、信源的数学模型
1、信源的概念
在通信系统中,收信者在未收到信息以前,对信源发出什么消息是不确定的、随机的、因此我们可以用随机变量、随机序列或者随机过程来描述信源的输出。严格地说,用概率空间来描述信源输出。
2、信源的分类
(1)离散信源和连续信源
一般不说是离散还是连续我们都默认为离散信源
(2)有记忆信源和无记忆信源
离散无记忆信源:离散信源在不同时刻发出的符号之间是无依赖的彼此统计独立的
(3)平稳信源和不稳定信源
离散平稳信源:离散信源的概率分布不随时间变化
3、信源熵
(1)定义
(2)例子——鉴别伪币问题
24个硬币中有一个伪币,由前一讲已经知道称量三次可以找出伪币,那么每次称量中获得的信息是多少?
抓住信源熵的核心概念“平均不确定度”
三、离散信源的信息测度
信息测度通俗来说就是每输出一个符号携带的信息量。
1、自信息的定义
(1)I(xi) 的含义
当xi输出以前,表示输出xi发生的不确定性
当xi输出以后,表示输出消息xi所包含的信息量
(2)I(xi) 的单位
若取r=2,单位为bit
若取r=e,单位为nat
那么1nat = ?bit
这里需要注意的是虽然单位不同,但是不管是bit还是nat本质上表示的都是I(xi),所以在推导 1nat = ?bit的关系时要带着单位,而且不建议用换底公式因为没有任何的物理意义。
2、联合自信息与条件自信息
四、二元信源的信息熵
五、二元信源的条件熵
1、定义
这里一定要注意是p(xiyi)联合概率加权
2、物理意义
令信源输出为X,信宿接受消息为Y,条件熵H(X/Y)表示信宿在收到Y后,信源X仍然存在的不确定度,这是传输失真造成的,H(X/Y)称为损失熵或者信道疑义度。
条件熵H(Y/X)表示对于信源的输出X,信宿接受Y所存在的不确定度,这是在传输过程中噪声引起的,H(Y/X)称为噪声熵或者信道散布度。
六、二元信源的联合熵
七、熵、条件熵、联合熵之间的关系
![](https://i-blog.csdnimg.cn/direct/6a0f0b5c31e943b38e2295bd38d52757.png)
H(XY) = H(X) + H(Y/X)
H(XY) = H(Y) + H(X/Y)
H(U1U2U3...UN) = H(U1) + H(U2|U1) + H(U3|U1U2) + ... + H(UN|U1U2U3...UN-1)