Markov过程
已知现在的状态，未来状态与过去的状态无关。
P
(
X
(
t
n
+
1
)
≤
x
n
+
1
∣
X
(
t
1
)
=
x
1
,
.
.
.
,
X
(
t
n
)
=
x
n
)
=
P
(
X
(
t
n
+
1
)
≤
x
n
+
1
∣
X
(
t
n
)
=
x
n
)
P(X(t_{n+1})≤x_{n+1}|X(t_1)=x_1,...,X(t_n)=x_n) = P(X(t_{n+1})≤x_{n+1}|X(t_n)=x_n)
P(X(tn+1)≤xn+1∣X(t1)=x1,...,X(tn)=xn)=P(X(tn+1)≤xn+1∣X(tn)=xn)
状态转移矩阵
如果状态转移概率与某个状态无关，称这个过程为齐次Markov过程。
p
i
j
=
P
(
X
n
+
k
=
j
∣
X
n
=
i
)
p_{ij} = P(X_{n+k}=j|X_n=i)
pij=P(Xn+k=j∣Xn=i)
i是当前状态，j是下一状态
写成矩阵形式
P
(
k
)
=
[
p
11
(
k
)
p
12
(
k
)
.
.
.
p
1
n
(
k
)
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
p
n
1
(
k
)
.
.
.
.
.
.
p
n
n
(
k
)
]
P(k) = \begin{bmatrix} p_{11}(k) & p_{12}(k) & ... & p_{1n}(k) \\ ... & ... & ...&...\\ ... & ...& ... & ...\\ p_{n1}(k) & ... & ... & p_{nn}(k) \end{bmatrix}
P(k)=⎣⎢⎢⎡p11(k)......pn1(k)p12(k).....................p1n(k)......pnn(k)⎦⎥⎥⎤
C-K方程
p
i
j
=
∑
r
p
i
r
(
k
)
p
r
j
(
l
)
p_{ij} = \sum_rp_{ir}(k)p_{rj}(l)
pij=r∑pir(k)prj(l)
写成矩阵形式为
P
(
k
+
l
)
=
P
(
k
)
P
(
l
)
=
[
P
(
1
)
]
k
+
l
P(k+l) = P(k)P(l) = [P(1)]^{k+l}
P(k+l)=P(k)P(l)=[P(1)]k+l
n步的转移概率都可以由1步转移概率获得
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
