7.1 定义与基本概念
定义:设随机过程
X
=
{
X
(
t
)
,
t
≥
0
}
X=\{X(t),t\ge0\}
X={X(t),t≥0},状态空间
S
S
S,对任意
0
≤
t
0
<
t
1
<
⋯
<
t
n
<
t
n
+
1
0\le t_0 < t_1 < \cdots < t_n < t_{n+1}
0≤t0<t1<⋯<tn<tn+1,
i
k
∈
S
i_k\in S
ik∈S,若
P
(
X
(
T
k
)
=
i
k
,
0
≤
k
≤
n
)
>
0
P(X(T_k)=i_k,0\le k\le n) > 0
P(X(Tk)=ik,0≤k≤n)>0 有
P
(
X
(
t
n
+
1
)
=
i
n
+
1
∣
X
(
t
k
)
=
i
k
,
0
≤
k
≤
n
)
=
P
(
X
(
t
n
+
1
)
=
i
n
+
1
∣
X
(
t
n
)
=
i
n
)
P(X(t_{n+1})=i_{n+1} | X(t_k)=i_k,0\le k\le n) = P(X(t_{n+1})=i_{n+1} | X(t_n)=i_n)
P(X(tn+1)=in+1∣X(tk)=ik,0≤k≤n)=P(X(tn+1)=in+1∣X(tn)=in)
则称
X
X
X 为连续参数的马氏链。若对任意的
s
,
t
≥
0
s,t\ge0
s,t≥0,
i
,
j
∈
S
i,j\in S
i,j∈S 有
P
(
X
(
s
+
t
)
=
j
∣
X
(
s
)
=
i
)
=
P
(
X
(
t
)
=
j
∣
X
(
0
)
=
i
)
=
P
i
j
(
t
)
P(X(s+t)=j | X(s)=i) = P(X(t)=j|X(0)=i) = P_{ij}(t)
P(X(s+t)=j∣X(s)=i)=P(X(t)=j∣X(0)=i)=Pij(t)
称
X
X
X 为齐次马氏链。
对于连续参数马氏链,在原点处有 P i j ( 0 ) = δ i j P_{ij}(0)=\delta_{ij} Pij(0)=δij,因此 P ( 0 ) = I P(0)=I P(0)=I。除此之外假设其在原点处连续,即 lim t → 0 P i j ( t ) = δ i j , lim t → 0 P ( t ) = I \lim_{t\to 0} P_{ij}(t)=\delta_{ij},\lim_{t\to0}P(t)=I limt→0Pij(t)=δij,limt→0P(t)=I。类比离散参数的马氏链,可以得到类似的 C-K 方程 P ( s + t ) = P ( s ) P ( t ) P(s+t)=P(s)P(t) P(s+t)=P(s)P(t)。
7.2 转移概率矩阵
根据 C-K 方程可以猜测 P ( t ) = e t Q P(t)=e^{tQ} P(t)=etQ,泰勒展开表示为 P ( t ) = I + ∑ n = 1 ∞ t n n ! Q n P(t)=I + \sum_{n=1}^{\infty} \frac{t^n}{n!}Q^n P(t)=I+∑n=1∞n!tnQn, P ( t ) P(t) P(t) 完全由 Q Q Q 确定,并且有 P ′ ( 0 ) = lim t → 0 P ( t ) − I t = Q P'(0)=\lim_{t\to0}\frac{P(t)-I}{t}=Q P′(0)=limt→0tP(t)−I=Q。
上面只是猜测,那么是否真的存在这样一个 Q Q Q 呢?下面两个定理给出结论。
定理 7.1:对 i ∈ S i\in S i∈S,极限 − q i i = lim t → 0 1 − P i i ( t ) t -q_{ii}=\lim_{t\to0}\frac{1-P_{ii}(t)}{t} −qii=limt→0t1−Pii(t) 存在,但可能是无穷。
定理 7.2:对 i ∈ S i\in S i∈S,极限 q i j = lim t → 0 P i j ( t ) t q_{ij}=\lim_{t\to0}\frac{P_{ij}(t)}{t} qij=limt→0tPij(t) 存在且有限。
证明:略。
Remark:实际应用中, P ( t ) P(t) P(t) 很难获得,一般可以求得 Q Q Q,此时 e t Q = lim n → ∞ ( I + Q t / n ) n e^{tQ} = \lim_{n\to\infty}(I + Qt/n)^n etQ=limn→∞(I+Qt/n)n。如果取 n = 2 k n=2^k n=2k 的形式,只需要 k k k 次矩阵乘法即可。
推论 7.1:对任意 i ∈ S i\in S i∈S, 0 ≤ ∑ i ≠ j q i j ≤ q i i 0\le \sum_{i\ne j}q_{ij}\le q_{ii} 0≤∑i=jqij≤qii。
证明:
KaTeX parse error: Undefined control sequence: \varliminf at position 9: q_{ii}=\̲v̲a̲r̲l̲i̲m̲i̲n̲f̲_{t\to0} \frac{…
推论 7.2:当
S
S
S 为有限状态空间时,
∑
i
≠
j
q
i
j
=
q
i
i
<
∞
\sum_{i\ne j}q_{ij}= q_{ii} < \infty
∑i=jqij=qii<∞。
7.3 Kolmogorov前向后向微分方程
定义:如果 Q Q Q 满足 ∀ i ∈ S \forall i\in S ∀i∈S, ∑ j ≠ i q i j = q i i < ∞ \sum_{j\ne i}q_{ij} = q_{ii} < \infty ∑j=iqij=qii<∞,则称 Q Q Q 为保守矩阵。
定理 7.3:设马氏链 X = { X ( t ) , t ≥ 0 } X=\{X(t),t\ge0\} X={X(t),t≥0}, Q = P ′ ( 0 ) Q=P'(0) Q=P′(0),当 S S S 为有限集时, P ′ ( t ) = P ( t ) Q = Q P ( t ) P'(t)=P(t)Q=QP(t) P′(t)=P(t)Q=QP(t)。
Remark:当 S S S 为可数状态时,前向方程与后向方程不一定成立,根据 Fatu 引理有 P ′ ( t ) ≥ P ( t ) Q , P ′ ( t ) ≥ Q P ( t ) P'(t)\ge P(t)Q,P'(t)\ge QP(t) P′(t)≥P(t)Q,P′(t)≥QP(t)
定理 7.4:当 S S S 为可列个状态, Q Q Q 为保守矩阵时,后向方程 P ′ ( t ) = Q P ( t ) P'(t)=QP(t) P′(t)=QP(t) 成立。
7.4 平稳分布与极限分布及其矩阵计算
类似离散马氏链,可以定义状态的连通关系。
定义:若 ∫ 0 ∞ P i i ( t ) d t = + ∞ \int_0^\infty P_{ii}(t)dt = +\infty ∫0∞Pii(t)dt=+∞,则称状态 i i i 为常返态,否则称为非常返态。
定义:设 i i i 为常返态,若 lim t → ∞ P i i ( t ) > 0 \lim_{t\to\infty}P_{ii}(t) > 0 limt→∞Pii(t)>0,则称为正常返态,若 lim t → ∞ P i i ( t ) = 0 \lim_{t\to\infty}P_{ii}(t) = 0 limt→∞Pii(t)=0,称为零常返态。
定义:若概率分布 π = { π i , i ∈ S } \pi=\{\pi_i,i\in S\} π={πi,i∈S} 满足 π = π P ( t ) \pi=\pi P(t) π=πP(t),称 π \pi π 为 X X X 的平稳分布。
定理 7.5:设 X X X 是有限不可约连续马氏链,对任意 i , j ∈ S i,j\in S i,j∈S,有 lim t → ∞ P i j ( t ) = p j \lim_{t\to\infty}P_{ij}(t)=p_j limt→∞Pij(t)=pj 存在,且与状态 i i i 无关。
证明:略。
最后给我的博客打个广告,欢迎光临
https://glooow1024.github.io/
https://glooow.gitee.io/
前面的一些博客链接如下
泛函分析专栏
高等数值分析专栏
随机过程专栏
随机过程1 绪论
随机过程2 平稳过程与二阶矩
离散鞅论1 | 基本概念
离散鞅论2 | 停时与停时定理
离散鞅论3 | 鞅论应用
泊松过程1 | 定义与基本性质
泊松过程2 | 泊松过程扩展
布朗运动 1 | 基本概念与性质
布朗运动 2 | 布朗运动的推广
马尔可夫过程1 | 基本概念
马尔可夫过程2 | 状态空间
连续参数马尔可夫链