马尔可夫链

引入

假设有一个由离散状态的集合S={S1,S2,…, Sn}描述的离散时间系统。比如，天
气可以由状态的集合S={雨，晴，雪}来描述。我们用符号S(t)记在时刻t时的状态。初始状态为S(0),在下一个时刻的状态为S(1),以此类推。从一个时刻到下一个时刻，系统状态可能会改变，也可能保持不变。从一个状态转移到另一个状态完全依概率进行。在一阶马尔可夫过程，也称为一阶马尔可夫链中，系统转移到下一时刻的任一给定状态的概率仅依赖于当前状态：也就是说，这个概率独立于以前的所有状态。将系统从一个时刻到下一个时刻由状态i转移到状态j的概率记为Pij·则对所有的i,有

我们构造n×n矩阵P,其中Pij是第i行和第j列的元素。P称为马尔可夫过程的转移矩阵、概率矩阵、或随机矩阵。P的每行的元素和为1.

例1

• 假设马尔可夫过程在时刻0的开始状态为i。从前面的讨论可知，已知过程在时刻0
  的状态为i,在时刻1的状态为j的概率为Pr(S(1)=Sj | S(0)=Si)=pij 现在考虑下一个时刻。可以利用全概率定理找出在时刻2过程处于状态1的概率
• 在时刻0的状态为i，在时刻1的状态为j的概率为
  
  进行一系列的推导
  
  总结：在t时候以后，马尔可夫过程状态i转移到状态j的概率等于
  
  从而有：
  
  
  

例2

例4.2在例4.1中利用(4.14)式和定理4.2，我们知道在遥远的将来任意给定的一天会有40%的概率下雨，20%的概率出太阳，40%的概率下雪。所以，在奥兹国有40%的雨天，20%的晴天，40%的下雪天。进一步我们能找出：


不知道马尔可夫过程初始状态的情况，但是知道每个状态的概率

例3

今天奥兹国的天气预报是80%出太阳20%下雪。从现在起的两天的天气预报是怎样的？

例4：爬山进化算法

算法4.1来解释爬山进化算法

由以上的等式，我们可以得到转移矩阵