1.定义
一个可数的离散状态集合
S
S
S,对任意
i
0
,
i
1
,
.
.
.
,
i
n
∈
S
i_0,i_1,...,i_n\in S
i0,i1,...,in∈S,若其在
n
+
1
n+1
n+1时刻的状态和之前状态的关系是
P
(
X
n
+
1
=
i
n
+
1
∣
X
0
=
i
0
,
X
1
=
i
1
,
.
.
.
,
X
n
=
i
n
)
=
P
(
X
n
+
1
=
i
n
+
1
∣
X
n
=
i
n
)
,
P(X_{n+1}=i_{n+1}|X_0=i_0,X_1=i_1,...,X_n=i_n)=P(X_{n+1}=i_{n+1}|X_n=i_n),
P(Xn+1=in+1∣X0=i0,X1=i1,...,Xn=in)=P(Xn+1=in+1∣Xn=in),那么我们说状态之间的转移关系 随机过程X是离散时间马尔科夫链。
进一步解释就是说，下一状态只和当前状态有关，和之前的状态无关。
2.表示
- p i j ( n ) = P ( X n + 1 = j ∣ X n = i ) , p_{ij}(n)=P(X_{n+1}=j|X_n=i), pij(n)=P(Xn+1=j∣Xn=i),一步转移概率
- p i j k ( n ) = P ( X n + k = j ∣ X n = i ) , p_{ij}^k(n)=P(X_{n+k}=j|X_n=i), pijk(n)=P(Xn+k=j∣Xn=i),k步转移概率
- p i j ( n ) = p i j ( n + 1 ) = p i j ( n + 2 ) = ⋯ , p_{ij}(n)=p_{ij}(n+1)=p_{ij}(n+2)=\cdots, pij(n)=pij(n+1)=pij(n+2)=⋯,齐次马氏链，转移概率不随时间发生变化
- 转移矩阵
设状态为 { 0 , 1 } , \{0,1\}, {0,1},从0转移到1的概率为p，从1转移到0的概率为q,那么可以得到矩阵
[ p 1 − p q 1 − q ] \left[\begin{matrix}p&1-p\\q&1-q \end{matrix}\right] [pq1−p1−q]其中行代表当前状态，列代表下一时刻状态
3.例题
3.1例一
求其一步转移概率矩阵。
解：设第i个个体产生的后代数为
ξ
i
，
\xi_{i}，
ξi，那么我们可以得到
P
(
ξ
i
=
k
)
=
p
k
P(\xi_i=k)=p_k
P(ξi=k)=pk一步转移概率为
p
X
n
X
n
+
1
(
n
)
=
P
(
ξ
1
+
ξ
2
+
⋯
+
ξ
n
=
X
n
+
1
)
p_{X_nX_{n+1}}(n)=P(\xi_1+\xi_2+\cdots+\xi_n=X_{n+1})
pXnXn+1(n)=P(ξ1+ξ2+⋯+ξn=Xn+1)
3.2例二
证明：
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
