P02114111方曦——马尔可夫信源的简介及其信源极限熵的求解

目录

前言

一、马尔科夫信源的定义

1.马尔科夫信源的性质

2.马尔科夫信源与一般有记忆信源的不同

3.m阶马尔可夫信源

二、马尔科夫信源的状态转移

 三、马尔可夫信源的极限熵

1.各态历经性

2.马尔可夫信源的极限熵

3.马尔可夫信源极限熵的求解

总结

---

前言

马尔可夫信源是一种在通信和信息理论中被广泛使用的数学模型。它以俄罗斯数学家安德烈·马尔可夫的名字命名，后者在20世纪初提出了这一概念。马尔可夫信源在许多实际应用中都能发挥重要作用，在自然语言处理领域，马尔可夫信源可以用于建立语言模型，从而实现自动文本生成和语音识别等任务。在金融市场分析中，马尔可夫信源经常被用来预测股票价格的变化。此外，在无线通信中，马尔可夫信源可以用于编码和解码信号，以提高通信的可靠性和效率。

一、马尔科夫信源的定义

1.马尔科夫信源的性质

马尔科夫信源满足以下两个条件：

（1）某时刻信源输出的符号只与此时刻信源所处的状态有关，而与以前的状态和输出的符号无关。

（2）信源某时刻所处的状态只由当前输出的符号和前一时刻信源的状态唯一决定。

马尔可夫信源是一类有限长度记忆的非平稳离散信源，信源输出的消息是非平稳的随机序列，它们的各维概率分布可能会随时间的平移而改变。

2.马尔科夫信源与一般有记忆信源的不同

我们之前所学的一般有记忆信源是通过在一串符号序列中，通过描述符号之间的联合概率来来描述这种符号与符号之间的关联的。而马尔科夫信源是通过符号之间的转移概率来描述这种关系的，也就是条件概率。换句话来说，就是马尔科夫信源是通过状态转移概率来发出每一个符号的。而转移概率的大小取决于它与前面符号的关联性。

3.m阶马尔可夫信源

如我们所知，马尔可夫信源只与之前有限个符号有关，这些符号组成的状态就构成了一个有限平稳的马尔科夫链,假设这有限个符号的数量为m+1，则满足这类条件的马尔可夫信源称为m阶马尔可夫信源。

二、马尔科夫信源的状态转移

设信源在时刻m处于转态，它在下一刻（m+1）转态转移到的转移概率为：

（m）：基本转移概率

若（m）与m的取值无关，则称为齐次马尔可夫链

具有下列性质：

若信源处于某一状态，当它发出一个符号后，所处状态就变了，任何时候信源处于什么状态完全由前一时刻的状态和发出符号决定。

系统在任一时刻可处于状态空间s=中的任意一个状态，状态转移时，转移概率矩阵：

状态转移图：
齐次马尔可夫链可以用状态转移图（香农线图）来表示，每个圆圈代表一种状态，状态之间的有向线代表某一状态向另一状态的转移，有向线一侧的符号和数字分别代表发出的符号和条件概率。

有如：

 三、马尔可夫信源的极限熵

1.各态历经性

在M信源中，只有满足各态历经性的M信源其极限熵才易求，而满足各态历经性的条件是：

（1）各个状态转移具有可达性，从图论的角度说，即必须是强连通图。

（2）从本状态转移n步回到本状态，不存在其中任何一步的转移概率大于1。

2.马尔可夫信源的极限熵

3.马尔可夫信源极限熵的求解

（1）确定离散平稳有记忆信源X的符号集{a1,a2,..., ar}；

（2）确定信源的记忆长度m，即马尔可夫信源的阶数；

（3）获得不同的消息（状态）——共r^m种（每个符号r种选择，共 m 个符号）

（4）确定由任一状态转移到另一状态的一步转移概率

 （5）

对于给定一步状态转移矩P，求解下列齐次线性方程组(以3*3状态一步转移矩阵为例)，即可求得状态极限概率。

总结

马尔可夫信源是现代通信领域中不可或缺的一部分，学习和理解它的原理和应用将帮助我们更好地理解和应对日常生活中的不确定性和随机性。希望本文能够提供一个清晰的介绍和理解马尔可夫信源的起源、基本概念和实际应用。