马尔科夫性质，马尔科夫过程，马尔科夫链(简洁精炼描述)

马尔科夫性质：当一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态，而与过去状态无关，此性质即为马尔科夫性质。
马尔科夫过程：具有马尔可夫性质的随机过程称之为马尔可夫过程，它的另一个名字马尔科夫链更常用。
马尔科夫链：马尔科夫链是随机过程的一个数列，令随机过程{Xn, n = 0, 1, 2, . . . , }取有限或可数的正值，当Xn = i 时我们称该过程在时间n时的状态为i，而从状态i到状态j转移的概率是固定的(i和j相等时相当于保持当前状态不变，也对应一个概率值)，也即：P{Xn+1 = j|Xn = i,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0} = P{Xn+1 = j|Xn = i} = Pij
马尔科夫链的三元素是：状态空间S，转移概率矩阵P，初始概率分布π
满足这样条件的过程称为马尔科夫链。如下图所示：圆圈中的数字表示状态，λ和μ均表示状态转移概率(注意：这里没有给出时刻的信息)。