马尔可夫算法及其实例（预测类模型）

马尔科夫预测模型是一种基于马尔科夫过程的预测方法。马尔科夫过程是一类具有马尔科夫性质的随机过程，即未来的状态只依赖于当前状态，而与过去状态无关。这种过程通常用状态空间和状态转移概率矩阵来描述。

        在马尔科夫预测模型中，系统被建模为处于一系列离散状态之一的马尔科夫链。每个状态表示系统可能的一个状态或情境，状态之间的转移由概率矩阵定义。这个概率矩阵描述了系统从一个状态转移到另一个状态的可能性。

后无效性，马尔可夫模型

未来只和现在有关

概率在0-1之间

所有到达可能状态概率之和为1

状态空间

马尔科夫链的状态空间是指系统可能处于的所有状态的集合。状态可以是离散的或连续的，具体取决于问题的性质。

确定转移概率的重要性

状态转移概率矩阵

状态转移概率矩阵描述了系统从一个状态转移到另一个状态的概率。对于离散状态空间，该矩阵是一个方阵，其中元素 Pij  表示系统从状态i 转移到状态j 的概率。

初始状态分布

初始状态分布表示系统在时间初始时各个状态的概率分布。这是一个向量，其中每个元素表示系统在相应状态的初始概率。

 在某些情况下，马尔科夫链可能收敛到一个稳态分布，即系统在各个状态上的概率分布趋于稳定。稳态分布对于理解系统长期行为和性质非常重要。