马尔可夫信源知识点总结

在学习信息论与编码的时候，博主在学马尔科夫信源的时候因为上课走神导致在这个知识点上有点迷糊，不过好在及时课下复习了一下大概上算是理清了。所以在这里简单做一下总结。

一、马尔科夫信源的定义

在讨论定义之前，我们要先明白这两个概念：符号集、状态。

信源的符号集与状态

所谓符号集很好理解，就是你这个信源可能会发出符号有哪些。比如说{0,1}，这里其实{}里面的东西可以任何可以代表符号的东西。
而状态可以这样理解，它是这些符号集的一些组合，比如说{00，01,10,11}。这里我们或许会想那这个状态只能是两个符号构成吗？当然不是，这个要取决于你自己是要处理多少阶的。（emmm，这个解释是有点涉及后面的马科夫信源了，在这里不必深究，看到后面自然就能明白“阶”的含义了）。
那么总结一下，信源输出随机信号序列（符号用x来表示）：x1，x2…xn
信源的状态序列是（状态用s来表示）S1，S2…Sn

马科夫信源的定义

好了，有了以上两个概念大家在理解马科夫信源上面就会比较容易了。

马尔科夫信源指的是一个信源要满足一下两个条件
1.这个信源发出的符号只与当前状态有关，与前面的状态和输出的符号无关。（在这里就可以看出他与我们正常的以符号序列来表达消息的理解方式不一样，这里要注意）
2.当前信源的状态可以有当前发出的符号和前一状态所唯一确定（可能有点抽象，但是应该不难理解，不太清楚地话继续往下看之后回头或许就能理解了）

Ok，我们知道了定义那么我就要去思考这个马尔科夫信源的与我们之前所学习的有记忆信源到底有什么不同之处呢？
这个不同之处就在于我们之前所学的一般有记忆信源是通过在一串符号序列中，通过描述符号之间的联合概率来来描述这种符号与符号之间的关联的。但是我们马尔科夫信源就不一样了，它很nb。它是通过符号之间的转移概率来描述这种关系的，也就是条件概率。（这里可能有点点抽象）换句话来说，就是马尔科夫信源是通过状态转移概率来发出每一个符号的。而转移概率的大小取决于它与前面符号的关联性。
转移概率的表现形式是P（xi | Sj）。也就是说已知某个状态，它接下来发出某个符号的概率。

好的在这里，我们一起来思考下，如果知道了此状态发出了每一个符号的概率，也就是上面表达式，那么是不是就意味着我们就能知道下个符号的信息了。

好的这个理解的话，我们再看，这虽说是符号的转换，但是，这个是否能看成，你是从这个状态到下个状态的转换呢，也就是整体向右移一下（通俗理解），可以看成c语言中的队列，先进先出。（这里可能听起来有点迷糊不要着急继续往下看）那么这里要引出一个概念，状态转移矩阵。状态转移矩阵就是由这些每种状态下的转移概率所组成的，每一行加起来都会是1。这个你去看看书上的图不会很难理解。这里的状态转移矩阵就是一种变换，它可以让你从一个状态转换成另外一个状态。每成一次矩阵，或者说每进行一次变换，就是一步转移。

好的，打住！回忆一下我们要干啥。我们要的是不是主要去研究这个信源。那么研究信源很重要的一点就是研究它的熵，考试中主要考的也就是如何计算这个熵。这里的熵指的是平均符号熵。

马尔科夫的极限熵

ok，在这里我们要知道，所谓极限熵到底什么，以及它到底是能用来干啥。极限熵的研究通常是针对有记忆信源。离散无记忆的信源的平均符号熵可以说是很好计算，就是计算一个消息的熵然后除以这个消息的符号个数（注意这里要弄明白消息和信源的关系，信源是发出符号的，而消息指的是一个符号序列）在实际应用中我们可以用平均符号熵来计算信源的熵，但是是有一定的误差的（对于离散有记忆信源来说）但是，当你的符号序列趋于无穷大的时候，那么是不是将平均符号熵看成信源的熵（这里有一些推倒过程，去犯下教材吧，有证明）相信大家都能接受。
还有一点要提一下，就是什么是m阶马尔科夫信源熵，m阶马尔科夫信源熵就是它的状态只与前面m个符号相关。那么它的状态空间就是n的m次方，n是信源所能发出符号的个数，这个不难理解。

好的这样我们来看下马尔科夫的极限熵。这个跟我们之前学过的由条件熵来求联合熵的方法一样（不明白的那我也没办法了，不多赘述，自己看下书吧，这个不难）那么我们是不是可以想象一下就是你用所有的状态的概率与在该状态下所能发出下个符号的熵进行相乘进行求和，就能得到这个信源的熵。那么关键就是这个状态的概率，其实，从直观上去想，每个状态的概率应该从统计平均上来说是固定的，这个可以通过MATLAB仿真跑一下就可以很清楚的看出来。证明我不是在胡扯。
那么现在是不是只要求出两类东西我们就能求出信源的熵了。一个是每个状态的概率，还有就是每个状态下所发出的符号熵就行了（这里不太清楚的好好自己想一下，或者回头去重新看下，能理解的）。好的那么我们就想，当这些状态的概率都趋于稳定的时候，你对它进行一步转移是不是得到的还是一个稳定的概率，因为n趋于无穷的时候，不就是稳定了的吗，这个应该也不是太难理解。所以用所有的状态乘以一步转移矩阵，所得到的还是这些状态，他们的值是不会发生变化的。这里可能会有的人想之前不是说乘以一个状态转移矩阵不是应该是从一个状态变换到另一个状态吗，那么好的。这里要明白的是一个状态转移到另外一个状态是从单个的状态乘以单个的转移概率来进行变换的。而在这里是状态空间与矩阵相乘。（准确来说是状态空间中的每一个状态的概率）所以状态空间中每一个状态的概率是不会发生变化的。那么就是W*P=W, W就是你的状态空间中每个状态的概率。这样就能求出来每一个状态的概率了。
ok，那么每一个状态下的所发出的符号熵的求法是怎么样的的呢这个其实就是把每种状态下的状态转移概率进行求信息量，然后全部加起来。这个如果不明白自己看看书上的例题，很容易就能想通的。
好的之后就可以相乘，求和，得出马尔科夫信源的熵了。
呼~~，终于写完了。码字不易，如果觉得对你有所帮助给一点点赞，博主会很开心的。

博客同步更新 YouKonSUN的个人博客