随机过程 更新过程(下)
更新定理
Feller 初等更新定理
在 Poisson 过程中,我们有
M
(
t
)
=
E
[
N
(
t
)
]
=
λ
t
M(t)=E[N(t)]=\lambda t
M(t)=E[N(t)]=λt ,因此:
M
(
t
)
t
=
λ
=
1
E
(
X
i
)
\frac{M(t)}{t}=\lambda=\frac{1}{E(X_i)}
tM(t)=λ=E(Xi)1
当
t
→
∞
t\to\infty
t→∞ 时,一般的更新过程也有该性质。
Feller 初等更新定理:记
μ
=
E
(
X
i
)
\mu=E(X_i)
μ=E(Xi) ,则:(若
μ
=
∞
\mu=\infty
μ=∞ ,则
1
μ
=
0
\frac{1}{\mu}=0
μ1=0)
M
(
t
)
t
→
1
μ
\frac{M(t)}{t}\to \frac{1}{\mu}
tM(t)→μ1
证明:首先假设
μ
<
∞
\mu<\infty
μ<∞ ,我们证明
lim inf
t
→
∞
M
(
t
)
t
≥
1
μ
\liminf\limits_{t\to\infty}\frac{M(t)}{t}\geq\frac{1}{\mu}
t→∞liminftM(t)≥μ1 和
lim sup
t
→
∞
M
(
t
)
t
≤
1
μ
\limsup\limits_{t\to\infty}\frac{M(t)}{t}\leq\frac{1}{\mu}
t→∞limsuptM(t)≤μ1 同时成立
① 由于:(就是说第
t
t
t 时刻已经更新了
N
(
t
)
N(t)
N(t) 次,那么要更新
N
(
t
)
+
1
N(t)+1
N(t)+1 次所需要的时间肯定比
t
t
t 要大)
T
N
(
t
)
+
1
>
t
T_{N(t)+1}>t
TN(t)+1>t
两边取期望,使用 Wald 等式:
E
(
T
N
(
t
)
+
1
)
=
E
(
X
i
)
E
[
N
(
t
)
+
1
]
=
μ
[
M
(
t
)
+
1
]
>
t
E(T_{N(t)+1})=E(X_i)E[N(t)+1]=\mu[M(t)+1]\gt t
E(TN(t)+1)=E(Xi)E[N(t)+1]=μ[M(t)+1]>t
即:
M
(
t
)
t
>
1
μ
−
1
t
\frac{M(t)}{t}\gt \frac{1}{\mu}-\frac{1}{t}
tM(t)>μ1−t1
两边取极限得到:
lim inf
t
→
∞
M
(
t
)
t
≥
1
μ
\liminf\limits_{t\to \infty}\frac{M(t)}{t}\geq \frac{1}{\mu}
t→∞liminftM(t)≥μ1
② 固定常数
M
M
M ,构造一个新的随机变量:
X
n
c
=
{
X
n
X
n
≤
M
M
X
n
>
M
X_n^c=\left\{ \begin{array}{ll} X_n & X_n \le M \\ M & X_n \gt M \end{array} \right.
Xnc={XnMXn≤MXn>M
以
{
X
i
c
}
\{X_i^c\}
{Xic} 确定一个新的更新过程,令:
T
n
c
=
∑
i
=
1
n
X
n
c
N
(
t
)
c
=
sup
{
n
:
T
n
c
≤
t
}
\begin{array}{c} T_n^c=\sum\limits_{i=1}^{n}X_n^c \\ N(t)^c=\sup\{n:\, T_n^c \leq t \} \end{array}
Tnc=i=1∑nXncN(t)c=sup{n:Tnc≤t}
由于
X
n
c
≤
M
X_n^c\leq M
Xnc≤M ,所有:
T
N
(
t
)
c
+
1
c
=
T
N
(
t
)
c
c
+
X
N
(
t
)
c
+
1
c
≤
t
+
M
T^c_{N(t)^c+1}=T_{N(t)^c}^c+X_{N(t)^c+1}^c\leq t+M
TN(t)c+1c=TN(t)cc+XN(t)c+1c≤t+M
使用和上边一样的技巧,两边取期望,使用 Wald 等式:
μ
M
[
M
(
t
)
c
+
1
]
≤
t
+
M
⇒
M
(
t
)
c
t
+
M
≤
1
μ
M
−
1
t
+
M
\mu_M[M(t)^c+1]\leq t+M \,\Rightarrow\, \frac{M(t)^c}{t+M}\leq \frac{1}{\mu_M}-\frac{1}{t+M}
μM[M(t)c+1]≤t+M⇒t+MM(t)c≤μM1−t+M1
两边取极限,得到:
lim sup
t
→
∞
M
(
t
)
c
t
≤
1
μ
M
\limsup\limits_{t\to\infty}\frac{M(t)^c}{t}\leq \frac{1}{\mu_M}
t→∞limsuptM(t)c≤μM1
因为
X
n
c
≤
X
n
X_n^c\leq X_n
Xnc≤Xn ,所以
T
n
c
≤
T
n
T_{n}^c\leq T_{n}
Tnc≤Tn ,因此
N
(
t
)
c
≥
N
(
t
)
N(t)^c \geq N(t)
N(t)c≥N(t) ,
M
(
t
)
c
≥
M
(
t
)
M(t)^c\geq M(t)
M(t)c≥M(t) ,所以:
lim sup
t
→
∞
M
(
t
)
t
≤
lim sup
t
→
∞
M
(
t
)
c
t
≤
1
μ
M
\limsup\limits_{t\to\infty}\frac{M(t)}{t}\leq\limsup\limits_{t\to\infty}\frac{M(t)^c}{t}\leq \frac{1}{\mu_M}
t→∞limsuptM(t)≤t→∞limsuptM(t)c≤μM1
令
M
→
∞
M\to\infty
M→∞ ,有
X
n
c
→
X
n
X_n^c\to X_n
Xnc→Xn ,
E
(
X
n
c
)
→
E
(
X
n
)
E(X_n^c)\to E(X_n)
E(Xnc)→E(Xn) ,即
μ
M
→
μ
\mu_M\to\mu
μM→μ ,所以:
lim sup
t
→
∞
M
(
t
)
t
≤
1
μ
\limsup\limits_{t\to\infty}\frac{M(t)}{t}\leq \frac{1}{\mu}
t→∞limsuptM(t)≤μ1
综合 ① 和 ② 得到:
lim
t
→
∞
M
(
t
)
t
=
1
μ
\lim\limits_{t\to\infty}\frac{M(t)}{t}=\frac{1}{\mu}
t→∞limtM(t)=μ1 ;
当 μ = ∞ \mu=\infty μ=∞ 时,在考虑 X n c X_n^c Xnc 的确定过程,当 M → ∞ M\to\infty M→∞ 时, μ M → ∞ \mu_M\to\infty μM→∞ ,所以也是成立的;
Blackwell 更新定理
当
μ
<
∞
\mu\lt \infty
μ<∞ 时,Feller 初等更新定理可以看作当
t
→
∞
t\to\infty
t→∞ 时,
M
(
t
)
∼
t
μ
M(t)\sim \frac{t}{\mu}
M(t)∼μt (注意
M
(
t
)
M(t)
M(t) 是个函数)。那我们可以研究一下当
t
→
∞
t\to\infty
t→∞ 时,对于任意一个
h
h
h ,是否有:
M
(
t
+
h
)
−
M
(
t
)
→
t
+
h
μ
−
t
μ
=
h
μ
M(t+h)-M(t)\to\frac{t+h}{\mu}-\frac{t}{\mu}= \frac{h}{\mu}
M(t+h)−M(t)→μt+h−μt=μh
格点分布:称随机变量
X
X
X 服从格点分布(或随机变量
X
X
X 的分布
F
F
F 是格点的),若存在
d
≥
0
d\geq 0
d≥0 ,使得:
∑
n
=
0
∞
P
(
X
=
n
d
)
=
1
\sum\limits_{n=0}^{\infty}P(X=nd)=1
n=0∑∞P(X=nd)=1
称满足上述条件的最大
d
d
d 称为此格点分布的周期。
注意:
- 上述定义只能知道 F F F 在不是 n d nd nd 上取值为 0,但不代表所有的 n d nd nd 都被取到了,有可能有限个 n d nd nd 的概率相加已经为 1 1 1 了。
- 格点分布是一类离散分布,例如二项分布、泊松分布都是格点分布,但是有一些离散分布并不属于格点分布,因为离散分布的值域只要是可数的就行,例如某个随机变量 X X X 的分布为:
X 1 2 1 3 1 4 1 5 ⋯ P ( X ) 1 2 1 2 2 1 2 3 1 2 4 ⋯ \begin{array}{c|c|c|c|c|c} \hline X & \frac{1}{2} & \frac{1}{3} & \frac{1}{4} & \frac{1}{5} & \cdots\\ \hline P(X) & \frac{1}{2} & \frac{1}{2^2} & \frac{1}{2^3} & \frac{1}{2^4} & \cdots \\ \hline \end{array} XP(X)2121312214123151241⋯⋯
这样的话 X X X 是离散分布的,但是找不到一个 d d d 使得任意 1 k \frac{1}{k} k1 都用 n d nd nd 来表示,因此 X X X 不是格点分布
Blackwell 更新定理:记 μ = E ( X n ) \mu=E(X_n) μ=E(Xn)
- 若 F F F 不是格点分布,则对一切 a ≥ 0 a\geq0 a≥0 ,当 t → ∞ t\to\infty t→∞ 时,有:
M ( t + a ) − M ( t ) → a μ M(t+a)-M(t)\to \frac{a}{\mu} M(t+a)−M(t)→μa
- 若 F F F 是格点分布,周期为 d d d ,则当 n → ∞ n\to\infty n→∞ 时,有:
P ( 在 n d 时刻发生更新 ) → d μ P(在 nd 时刻发生更新)\to \frac{d}{\mu} P(在nd时刻发生更新)→μd
这个定理书上都没有捏,估计是看不懂,可以直观理解一下。当不是格点分布时,表示在长度为 a a a 的时间区间内发生的平均次数为 a μ \frac{a}{\mu} μa,这个跟初等更新定理时差不多的意思。但是当 F F F 为格点分布时,由于更新只发生在 d d d 的整数倍,所以更新次数的多少依赖于区间上 n d nd nd 点的数目,而同样长的区间所含形如 n d nd nd 点的数目可能是不同的。而平均来说,单位时间发生的次数为 1 μ \frac{1}{\mu} μ1 ,所以可以认为平均到每个时间长度为 d d d 的区间上,平均发生次数为 1 d \frac{1}{d} d1 。
如上边所说,Feller 初等更新定理时 Blackwell 更新定理的特殊情况。令
b
n
=
M
(
t
+
1
)
−
M
(
t
)
b_n=M(t+1)-M(t)
bn=M(t+1)−M(t) ,当
F
F
F 不是格点分布时,有:
lim
n
→
∞
b
n
=
1
μ
\lim\limits_{n\to\infty}b_n=\frac{1}{\mu}
n→∞limbn=μ1
由极限的四则运算得:
b
1
+
b
2
+
⋯
+
b
n
n
=
M
(
n
)
n
→
1
μ
\frac{b_1+b_2+\cdots+b_n}{n}=\frac{M(n)}{n}\to \frac{1}{\mu}
nb1+b2+⋯+bn=nM(n)→μ1
从而对任意实数
t
t
t (相当于连续时间),有:
⌊
t
⌋
t
⋅
M
(
⌊
t
⌋
)
⌊
t
⌋
≤
M
(
t
)
t
≤
⌊
t
⌋
+
1
t
⋅
M
(
⌊
t
⌋
+
1
)
⌊
t
⌋
+
1
\frac{\lfloor t \rfloor}{t}\cdot \frac{M(\lfloor t \rfloor)}{\lfloor t \rfloor}\leq \frac{M(t)}{t}\leq\frac{\lfloor t \rfloor+1}{t}\cdot \frac{M(\lfloor t \rfloor + 1)}{\lfloor t \rfloor+1}
t⌊t⌋⋅⌊t⌋M(⌊t⌋)≤tM(t)≤t⌊t⌋+1⋅⌊t⌋+1M(⌊t⌋+1)
令
t
→
∞
t\to\infty
t→∞ ,由夹逼定理可知:
M
(
t
)
t
→
1
μ
\frac{M(t)}{t}\to\frac{1}{\mu}
tM(t)→μ1
当
F
F
F 是格点分布时,这里就不是取
⌊
t
⌋
\lfloor t\rfloor
⌊t⌋ 和
⌊
t
⌋
+
1
\lfloor t\rfloor+1
⌊t⌋+1 了,而是取离
t
t
t 前后两个最近的
n
d
nd
nd ,然后也可以由夹逼定理得到一样的结果。
关键更新定理
关键更新定理:记
μ
=
E
(
X
n
)
\mu=E(X_n)
μ=E(Xn) ,设函数
h
(
t
)
h(t)
h(t)
(
t
∈
[
0
,
∞
)
)
(t\in[0,\,\infty))
(t∈[0,∞)) ,满足(1)
h
(
t
)
h(t)
h(t) 非负不增;(2)
∫
0
∞
h
(
t
)
d
t
<
∞
\int_0^{\infty}h(t)\,dt\lt \infty
∫0∞h(t)dt<∞ 。
H
(
t
)
H(t)
H(t) 是更新方程:
H
(
t
)
=
h
(
t
)
+
∫
0
t
H
(
t
−
s
)
d
F
(
s
)
H(t)=h(t)+\int_{0}^{t}H(t-s)\,dF(s)
H(t)=h(t)+∫0tH(t−s)dF(s)
的解(
F
(
x
)
F(x)
F(x) 就是
X
i
X_i
Xi 的分布函数)。那么:
- 若 F F F 不是格点分布,有:
lim t → ∞ H ( t ) = { 1 μ ∫ 0 ∞ h ( x ) d x μ < ∞ 0 μ = ∞ \lim\limits_{t\to\infty}H(t)=\left\{ \begin{array}{l} \frac{1}{\mu}\int_0^{\infty}h(x)\,dx & \mu\lt \infty \\ 0 & \mu=\infty \end{array} \right. t→∞limH(t)={μ1∫0∞h(x)dx0μ<∞μ=∞
- 若 F F F 是格点分布,对于 0 ≤ c < d 0\leq c\lt d 0≤c<d ,有:
lim n → ∞ H ( c + n d ) = { d μ ∑ n = 0 ∞ h ( c + n d ) μ < ∞ 0 μ = ∞ \lim\limits_{n\to\infty}H(c+nd)=\left\{ \begin{array}{l} \frac{d}{\mu}\sum\limits_{n=0}^{\infty}h(c+nd) & \mu\lt \infty \\ 0 & \mu=\infty \end{array} \right. n→∞limH(c+nd)=⎩ ⎨ ⎧μdn=0∑∞h(c+nd)0μ<∞μ=∞
关键更新定理和 Blackwell 更新定理是等价的,所以同样没有证明hhhh。但是我们可以简单证明以下二者的等价性:(考虑 F F F 不是格点分布、 μ < ∞ \mu<\infty μ<∞ 的情况)
① 关键更新定理
→
\to
→ Blackwell 更新定理:对于任意
a
≥
0
a\geq 0
a≥0 ,我们令:
h
(
t
)
=
{
1
0
≤
t
≤
a
0
t
>
a
h(t)=\left\{\begin{array}{l} 1 & 0 \leq t \leq a \\ 0 & t \gt a \end{array} \right.
h(t)={100≤t≤at>a
这样
h
(
t
)
h(t)
h(t) 就满足了非负不增的条件,并且在正数区间上积分也是有限的。这样我们就可以得到
H
(
t
)
H(t)
H(t) 的解:(我们取
t
→
∞
t\to\infty
t→∞ )
H
(
t
)
=
h
(
t
)
+
∫
0
t
h
(
t
−
s
)
d
M
(
s
)
=
∫
t
−
a
t
d
M
(
s
)
=
M
(
t
)
−
M
(
t
−
a
)
H(t)=h(t)+\int_{0}^{t}h(t-s)\,dM(s)=\int_{t-a}^tdM(s)=M(t)-M(t-a)
H(t)=h(t)+∫0th(t−s)dM(s)=∫t−atdM(s)=M(t)−M(t−a)
其中
M
(
t
)
M(t)
M(t) 是
F
(
t
)
F(t)
F(t) 的更新函数,又有:
lim
t
→
∞
H
(
t
)
=
1
μ
∫
0
∞
h
(
x
)
d
x
=
a
μ
\lim\limits_{t\to\infty}H(t)=\frac{1}{\mu}\int_0^{\infty}h(x)\,dx=\frac{a}{\mu}
t→∞limH(t)=μ1∫0∞h(x)dx=μa
因此得到 Blackwell 更新定理
F
(
t
)
F(t)
F(t) 为非格点分布的情况:
lim
t
→
∞
M
(
t
)
−
M
(
t
−
a
)
=
a
μ
\lim\limits_{t\to\infty}M(t)-M(t-a)=\frac{a}{\mu}
t→∞limM(t)−M(t−a)=μa
② Blackwell 更新定理
→
\to
→ 关键更新定理:也是和上面一样的假设:考虑
F
F
F 不是格点分布、
μ
<
∞
\mu<\infty
μ<∞ 的情况,根据 Blackwell 更新定理有:
lim
t
→
∞
M
(
t
+
a
)
−
M
(
t
)
a
=
1
μ
\lim\limits_{t\to\infty}\frac{M(t+a)-M(t)}{a}=\frac{1}{\mu}
t→∞limaM(t+a)−M(t)=μ1
则:
lim
a
→
0
lim
t
→
∞
M
(
t
+
a
)
−
M
(
t
)
a
=
1
μ
\lim\limits_{a\to0}\lim\limits_{t\to\infty}\frac{M(t+a)-M(t)}{a}=\frac{1}{\mu}
a→0limt→∞limaM(t+a)−M(t)=μ1
假设极限次序可以交换,那么有:
lim
t
→
∞
d
M
(
t
)
d
t
=
1
μ
\lim\limits_{t\to\infty}\frac{dM(t)}{dt}=\frac{1}{\mu}
t→∞limdtdM(t)=μ1
因为
∫
0
∞
h
(
t
)
d
t
<
∞
\int_0^{\infty}h(t)\,dt\lt \infty
∫0∞h(t)dt<∞ ,所以
lim
t
→
∞
h
(
t
)
=
0
\lim\limits_{t\to\infty}h(t)=0
t→∞limh(t)=0 , 则
H
(
t
)
H(t)
H(t) 有:
lim
t
→
∞
H
(
t
)
=
lim
t
→
∞
h
(
t
)
+
lim
t
→
∞
∫
0
t
h
(
t
−
s
)
d
M
(
s
)
=
1
μ
∫
0
∞
h
(
t
)
d
t
\lim\limits_{t\to\infty}H(t)=\lim\limits_{t\to\infty}h(t)+\lim\limits_{t\to\infty}\int_{0}^{t}h(t-s)\,dM(s)=\frac{1}{\mu}\int_{0}^{\infty}h(t)\,dt
t→∞limH(t)=t→∞limh(t)+t→∞lim∫0th(t−s)dM(s)=μ1∫0∞h(t)dt
更新定理的应用
技巧:直接使用更新定理,这些题目往往直接算出期望来,然后使用 Feller 初等更新定理即可;
例:某机器使用电池供电,设电池寿命 X i X_i Xi 服从均值为 45h 的正态分布,电池失效时需要去仓库领取,领取时间 Y i Y_i Yi 服从期望为 0.5 h,求长时间工作时机器更换电池的速率
解:更换电池的速率,就是长时间更换次数除以时间,设
N
(
t
)
N(t)
N(t) 表示到时刻
t
t
t 为止更换的次数,平均更新时间为
E
(
X
i
+
Y
i
)
=
45.5
E(X_i+Y_i)=45.5
E(Xi+Yi)=45.5 ,则根据更新定理,更换电池的速率为:
lim
t
→
∞
E
[
N
(
t
)
]
t
=
lim
t
→
∞
M
(
t
)
t
=
1
E
(
X
i
+
Y
i
)
=
2
91
(
次
/
小时
)
\lim\limits_{t\to\infty}\frac{E[N(t)]}{t}=\lim\limits_{t\to\infty}\frac{M(t)}{t}=\frac{1}{E(X_i+Y_i)}=\frac{2}{91} \,(次/小时)
t→∞limtE[N(t)]=t→∞limtM(t)=E(Xi+Yi)1=912(次/小时)
技巧:利用某些过程的无记忆性(还是叫独立增量性哇),我们可以写出一些递归的表达式,转换成更新方程,就可以求出某些分布函数
例:(剩余寿命与年龄的极限分布)以 r ( t ) = T N ( t ) + 1 − t r(t)=T_{N(t)+1}-t r(t)=TN(t)+1−t 表示 t t t 时刻的剩余寿命,即从 t t t 时刻开始到下次更新剩余的时间, s ( t ) = t − T N ( t ) s(t)=t-T_{N(t)} s(t)=t−TN(t) 为 t t t 时刻的年龄,求 r ( t ) r(t) r(t) 和 s ( t ) s(t) s(t) 的极限分布。
解:解释一下题目, 把当前看成 t t t 时刻,则 T N ( t ) T_{N(t)} TN(t) 为上一次更新的时间,所以年龄是 t − T N ( t ) t-T_{N(t)} t−TN(t) ; T N ( t ) + 1 T_{N(t)+1} TN(t)+1 是下一次更新的时间,所以 T N ( t ) + 1 − t T_{N(t)+1}-t TN(t)+1−t 是剩余的寿命
令
R
ˉ
y
(
t
)
=
P
(
r
(
t
)
>
y
)
\bar{R}_y(t)=P(r(t)\gt y)
Rˉy(t)=P(r(t)>y) ,对第一次更新的时刻
X
1
X_1
X1 取条件,得:
P
(
r
(
t
)
>
y
∣
X
1
=
x
)
=
{
1
x
>
t
+
y
0
t
<
x
≤
t
+
y
R
ˉ
y
(
t
−
x
)
0
<
x
≤
t
P(r(t)\gt y\,|\,X_1=x)=\left\{ \begin{array}{l} 1 & x\gt t+y \\ 0 & t\lt x \leq t+y \\ \bar{R}_y(t-x) & 0\lt x \leq t \end{array} \right.
P(r(t)>y∣X1=x)=⎩
⎨
⎧10Rˉy(t−x)x>t+yt<x≤t+y0<x≤t
- 当 x > t + y x\gt t+y x>t+y 时,说明第一次更新发生在 t + y t+y t+y 时刻后,则 t t t 时刻的剩余寿命为 x − t > y x-t\gt y x−t>y ,所以剩余寿命一定比 y y y 要大,概率为 1;
- 当 t < x ≤ t + y t\lt x \leq t+y t<x≤t+y 时,说明第一次更新发生在当前时刻之后, t + y t+y t+y 时刻之前,说明剩余寿命 x − t < y x-t<y x−t<y ,所以剩余寿命一定不比 y y y 要大,概率为 0;
- 当 0 < x ≤ t 0\lt x \leq t 0<x≤t 时,说明第一次更新发生在当前时刻后,我们可以递归进行以上过程,按照无记忆性去理解
由全概率公式,可以得到:
R
ˉ
y
(
t
)
=
∫
0
∞
P
(
r
(
t
)
>
y
∣
X
1
=
x
)
d
F
(
x
)
=
∫
t
+
y
∞
d
F
(
x
)
+
∫
0
t
R
ˉ
y
(
t
−
x
)
d
F
(
x
)
=
1
−
F
(
t
+
y
)
+
∫
0
t
R
ˉ
y
(
t
−
x
)
d
F
(
x
)
\begin{align} \bar{R}_y(t)=&\,\int_{0}^{\infty}P(r(t)\gt y\,|\,X_1=x)\,dF(x) \\ =&\,\int_{t+y}^{\infty}dF(x)+\int_{0}^{t}\bar{R}_y(t-x)\,dF(x) \\ =&\,1-F(t+y)+\int_{0}^{t}\bar{R}_y(t-x)\,dF(x) \\ \end{align}
Rˉy(t)===∫0∞P(r(t)>y∣X1=x)dF(x)∫t+y∞dF(x)+∫0tRˉy(t−x)dF(x)1−F(t+y)+∫0tRˉy(t−x)dF(x)
这就得到了一个更新方程,其解为:
R
ˉ
y
(
x
)
=
1
−
F
(
t
+
y
)
+
∫
0
∞
(
1
−
F
(
t
+
y
−
x
)
)
d
M
(
x
)
\bar{R}_y(x)=1-F(t+y)+\int_{0}^{\infty}(1-F(t+y-x))\,dM(x)
Rˉy(x)=1−F(t+y)+∫0∞(1−F(t+y−x))dM(x)
我们假设
μ
=
E
(
X
1
)
<
∞
\mu=E(X_1)\lt\infty
μ=E(X1)<∞ ,则:(这一步我没有理解为什么)
μ
=
∫
0
∞
x
d
F
(
x
)
=
∫
0
∞
[
1
−
F
(
x
)
]
d
x
<
∞
\mu=\int_{0}^{\infty}x\,dF(x)=\int_{0}^{\infty}[1-F(x)]\,dx\lt \infty
μ=∫0∞xdF(x)=∫0∞[1−F(x)]dx<∞
因此:
∫
0
∞
[
1
−
F
(
t
+
y
)
]
d
t
=
∫
y
∞
[
1
−
F
(
t
)
]
d
y
<
∞
\int_0^{\infty}[1-F(t+y)]\,dt=\int_{y}^{\infty}[1-F(t)]\,dy\lt \infty
∫0∞[1−F(t+y)]dt=∫y∞[1−F(t)]dy<∞
由关键更新定理得到剩余寿命的极限分布为:
lim
t
→
∞
P
(
r
(
t
)
>
y
)
=
lim
t
→
∞
R
ˉ
y
(
t
)
=
1
μ
∫
y
∞
[
1
−
F
(
t
)
]
d
t
\lim\limits_{t\to\infty}P(r(t)\gt y)=\lim\limits_{t\to\infty}\bar{R}_y(t)=\frac{1}{\mu}\int_y^{\infty}[1-F(t)]\,dt
t→∞limP(r(t)>y)=t→∞limRˉy(t)=μ1∫y∞[1−F(t)]dt
年龄的分布式可以由上面的式子得出,注意到:
{
r
(
t
)
>
x
,
s
(
t
)
>
y
}
⟺
{
r
(
t
−
y
)
>
x
+
y
}
\{ r(t)\gt x, \,s(t)\gt y \} \iff \{ r(t-y)\gt x+y \}
{r(t)>x,s(t)>y}⟺{r(t−y)>x+y}
所以:
lim
t
→
∞
P
(
r
(
t
)
>
x
,
s
(
t
)
>
y
)
=
lim
t
→
∞
P
(
r
(
t
−
y
)
>
x
+
y
)
=
1
μ
∫
x
+
y
∞
[
1
−
F
(
t
)
]
d
t
\lim\limits_{t\to\infty}P(r(t)\gt x, \,s(t)\gt y)=\lim\limits_{t\to\infty}P(r(t-y)\gt x+y)=\frac{1}{\mu}\int_{x+y}^{\infty}[1-F(t)]\,dt
t→∞limP(r(t)>x,s(t)>y)=t→∞limP(r(t−y)>x+y)=μ1∫x+y∞[1−F(t)]dt
特别地,可以得到年龄的极限分布:
lim
t
→
∞
P
(
s
(
t
)
>
y
)
=
lim
t
→
∞
P
(
s
(
t
)
>
y
,
r
(
t
)
>
0
)
=
1
μ
∫
y
∞
[
1
−
F
(
t
)
]
d
t
\lim\limits_{t\to\infty}P(s(t)\gt y)=\lim\limits_{t\to\infty}P(s(t)\gt y, r(t)\gt 0)=\frac{1}{\mu}\int_y^{\infty}[1-F(t)]\,dt
t→∞limP(s(t)>y)=t→∞limP(s(t)>y,r(t)>0)=μ1∫y∞[1−F(t)]dt
可以看到剩余寿命和年龄的极限分布相同。
更新过程的推广
延迟更新过程
延迟更新过程:仅仅对 X 1 X_1 X1 作出特殊假设,允许 X 1 X_1 X1 服从与其他 X i ( i > 1 ) X_i \,(i\gt 1) Xi(i>1) 不同的分布 G G G ,但仍然是相互独立的。这样的话,更新定理仍然是成立的,只是说 M ( t ) = G ∗ F ∗ F ∗ ⋯ ( t ) M(t)=G*F*F*\cdots(t) M(t)=G∗F∗F∗⋯(t) ,第一次更新的时刻对无穷远的情况并没有很大影响
例:对于上边机器换零件的情况,我们可以认为开始观察时第一个零件已经使用一段时间了,所以它的分布和后续的分布就不一样
更新回报过程
更新回报过程:类似于复合 Poisson 过程,设:
R
(
t
)
=
∑
i
=
t
N
(
t
)
R
i
R(t)=\sum\limits_{i=t}^{N(t)}R_i
R(t)=i=t∑N(t)Ri
其中
{
N
(
t
)
,
t
≥
0
}
\{N(t),\,t\geq 0\}
{N(t),t≥0} 是一个更新过程,
R
i
R_i
Ri 独立同分布且与
N
(
t
)
N(t)
N(t) 独立,则称
R
(
t
)
R(t)
R(t) 是一个更新回报过程。可以理解为,
R
i
R_i
Ri 是第
i
i
i 次更新获得的回报。更一般的更新过程,可以要求
R
i
R_i
Ri 只依赖于
X
i
X_i
Xi ,但是随机向量列
(
X
1
,
R
i
)
(X_1,\,R_i)
(X1,Ri) 独立同分布。。
更新回报定理:若更新回报过程满足 E ( X i ) < ∞ E(X_i)\lt \infty E(Xi)<∞ 且 E ( R i ) < ∞ E(R_i)\lt \infty E(Ri)<∞ ,则有:
- lim t → ∞ R ( t ) t = E ( R i ) E ( X i ) \lim\limits_{t\to\infty}\frac{R(t)}{t}=\frac{E(R_i)}{E(X_i)} t→∞limtR(t)=E(Xi)E(Ri) 以概率 1 成立
- lim t → ∞ E [ R ( t ) ] t = E ( R i ) E ( X i ) \lim\limits_{t\to\infty}\frac{E[R(t)]}{t}=\frac{E(R_i)}{E(X_i)} t→∞limtE[R(t)]=E(Xi)E(Ri)
以上定理可以分别由强大数定理和更新方程及定理证明
例:(产品保修策略)设某公司所出售的商品采取如下更换策略:
- 若产品在售出 w w w 时间内损坏,则免费更换相同产品;
- 若在 ( w , w + T ] (w,\,w+T] (w,w+T] 期间损坏,则按使用时间折价更换新产品;
对在 ( 0 , w ] (0,\,w] (0,w] 内更换的新产品执行原来的更换期,而对在 ( w , w + T ] (w,\,w+T] (w,w+T] 内折价更换的新产品,则从更换时刻重新计算更换期。讨论长期执行此策略对厂家的期望利润的影响。(假定产品一旦损坏,顾客立刻更换、折换或者购买新的)。
解:设 t = 0 t=0 t=0 时刻顾客购买了一个新产品,售价 c c c ,成本 c 0 < c c_0\lt c c0<c ,产品寿命为 X X X ,服从分布函数为 F ( t ) F(t) F(t) ,且 E ( X ) = μ < ∞ E(X)= \mu\lt \infty E(X)=μ<∞ 。设用户相邻两次购买的间隔(包括全价购买和折换购买、不包括免费更换)为 Y 1 Y_1 Y1 , Y 2 Y_2 Y2 , ⋯ \cdots ⋯ 。因为每次更换的产品都是新的,所以 Y Y Y 独立同分布。记 Y Y Y 的分布为 G ( t ) G(t) G(t) ,记 N ( t ) N(t) N(t) 为 ( 0 , t ] (0,\,t] (0,t] 时间内的更换次数, T n T_n Tn 为第 n n n 次更换的时间, M ( t ) = E [ N ( t ) ] M(t)=E[N(t)] M(t)=E[N(t)] 。(乐,已经定义了一堆东西,但是大部分符号都是之前见过的)
首先计算用户在
(
0
,
Y
1
)
(0,\,Y_1)
(0,Y1) 内的花费期望
E
(
Y
1
)
E(Y_1)
E(Y1) ,对于用户而言,更换策略为:
{
0
y
≤
w
c
(
y
−
w
)
T
w
<
y
<
w
+
T
\left\{ \begin{array}{l} 0 & y\leq w \\ \frac{c(y-w)}{T} & w\lt y \lt w+T \end{array} \right.
{0Tc(y−w)y≤ww<y<w+T
其中
y
y
y 为使用时间。设
R
w
R_w
Rw 为产品在
w
w
w 时刻的剩余寿命,则
Y
1
=
w
+
R
w
Y_1=w+R_w
Y1=w+Rw ,且
Y
1
=
T
N
(
w
)
+
1
Y_1=T_{N(w)+1}
Y1=TN(w)+1 (这两个等式好好理解一下。。。第一个等式是因为
Y
i
Y_i
Yi 不包括免费更换,所以是
w
w
w 时间以后第一次坏掉的时间(即
R
w
R_w
Rw )再加上之前
w
w
w 的时间;第二个等式同样是因为
Y
i
Y_i
Yi 不包括免费更换,所以
N
(
w
)
N(w)
N(w) 次更新后的下一次更新就是用户第一次不能免费更换的更新)
由前面证明剩余寿命的过程中得到:
P
(
w
+
R
w
>
t
)
=
R
ˉ
t
−
w
(
w
)
=
1
−
F
(
t
)
+
∫
0
w
[
1
−
F
(
t
−
x
)
]
d
M
(
x
)
=
F
ˉ
(
t
)
+
∫
0
w
F
ˉ
(
t
−
x
)
d
M
(
x
)
P(w+R_w\gt t)=\bar{R}_{t-w}(w)=1-F(t)+\int_{0}^{w}[1-F(t-x)]dM(x)=\bar{F}(t)+\int_0^w\bar{F}(t-x)\,dM(x)
P(w+Rw>t)=Rˉt−w(w)=1−F(t)+∫0w[1−F(t−x)]dM(x)=Fˉ(t)+∫0wFˉ(t−x)dM(x)
所以
G
ˉ
(
t
)
=
P
(
Y
1
>
t
)
=
{
1
0
≤
t
≤
w
P
(
w
+
R
w
>
t
)
=
F
ˉ
(
t
)
+
∫
0
w
F
ˉ
(
t
−
x
)
d
M
(
x
)
t
>
w
\begin{align} \bar{G}(t)=&\,P(Y_1\gt t) \\ =&\, \left\{ \begin{array}{ll} 1 & 0\leq t \leq w \\ P(w+R_w\gt t)=\bar{F}(t)+\int_{0}^{w}\bar{F}(t-x)\,dM(x) & t\gt w \end{array} \right. \end{align}
Gˉ(t)==P(Y1>t){1P(w+Rw>t)=Fˉ(t)+∫0wFˉ(t−x)dM(x)0≤t≤wt>w
由 wald 等式得:
E
(
Y
1
)
=
E
[
T
N
(
t
)
+
1
]
=
μ
[
1
+
M
(
w
)
]
E(Y_1)=E[T_{N(t)+1}]=\mu[1+M(w)]
E(Y1)=E[TN(t)+1]=μ[1+M(w)]
设
(
0
,
Y
1
]
(0,\,Y_1]
(0,Y1] 内用户花费为
c
1
c_1
c1 ,则:
c
1
=
{
c
Y
1
>
w
+
T
c
(
Y
1
−
w
)
T
w
<
Y
1
≤
w
+
T
c_1=\left\{ \begin{array}{ll} c & Y_1\gt w+T \\ \frac{c(Y_1-w)}{T} & w\lt Y_1 \le w+T \end{array} \right.
c1={cTc(Y1−w)Y1>w+Tw<Y1≤w+T
从而:
E
(
c
1
)
=
c
G
ˉ
(
w
+
T
)
+
c
T
∫
w
w
+
T
(
t
−
w
)
d
G
(
t
)
E(c_1)=c\bar{G}(w+T)+\frac{c}{T}\int_{w}^{w+T}(t-w)\,dG(t)
E(c1)=cGˉ(w+T)+Tc∫ww+T(t−w)dG(t)
对右边第二项换元、分部积分,得到:
=
c
(
1
−
G
(
w
+
T
)
)
+
c
T
∫
0
T
t
d
G
(
t
+
w
)
=
c
(
1
−
G
(
w
+
T
)
)
+
c
G
(
w
+
T
)
−
c
T
∫
0
T
G
(
t
+
w
)
d
t
=
c
−
c
T
∫
0
T
(
1
−
G
ˉ
(
t
+
w
)
)
d
t
=
c
T
∫
0
T
G
ˉ
(
t
+
w
)
d
t
=
c
T
∫
0
T
P
(
R
w
>
x
)
d
x
\begin{align} =&\,c(1-G(w+T))+\frac{c}{T}\int_{0}^{T}tdG(t+w) \\ =&\,c(1-G(w+T))+cG(w+T)-\frac{c}{T}\int_{0}^{T}G(t+w)\,dt \\ =&\, c-\frac{c}{T}\int_{0}^{T}(1-\bar{G}(t+w))\,dt \\ =&\,\frac{c}{T}\int_0^T\bar{G}(t+w)\,dt \\ =&\,\frac{c}{T}\int_{0}^TP(R_w\gt x)dx \\ \end{align}
=====c(1−G(w+T))+Tc∫0TtdG(t+w)c(1−G(w+T))+cG(w+T)−Tc∫0TG(t+w)dtc−Tc∫0T(1−Gˉ(t+w))dtTc∫0TGˉ(t+w)dtTc∫0TP(Rw>x)dx
于是用户的长期平均费用为(更新回报定理):
c
(
w
,
T
)
=
E
(
c
1
)
E
(
Y
1
)
=
c
∫
0
T
P
(
R
w
>
x
)
d
x
T
μ
(
1
+
M
(
w
)
)
c(w,\,T)=\frac{E(c_1)}{E(Y_1)}=\frac{c\int_0^TP(R_w\gt x)\,dx}{T\mu(1+M(w))}
c(w,T)=E(Y1)E(c1)=Tμ(1+M(w))c∫0TP(Rw>x)dx
对于公司而言,在
(
0
,
w
]
(0,\,w]
(0,w] 内免费更换产品的个数的期望值为
E
(
N
(
w
)
)
=
M
(
w
)
E(N(w))=M(w)
E(N(w))=M(w) ,因此,在一个购买周期
(
0
,
Y
1
]
(0,\,Y_1]
(0,Y1] 内,公司所付成本为
c
0
[
M
(
t
)
+
1
]
c_0[M(t)+1]
c0[M(t)+1] ,公司从每个用户所得的长期平均利润为:
c
(
w
,
T
)
−
c
0
(
1
+
M
(
t
)
)
μ
(
1
+
M
(
t
)
)
=
c
(
w
,
T
)
−
c
0
μ
c(w,\,T)-\frac{c_0(1+M(t))}{\mu(1+M(t))}=c(w,\,T)-\frac{c_0}{\mu}
c(w,T)−μ(1+M(t))c0(1+M(t))=c(w,T)−μc0
交替更新过程
更新过程仅考虑了一种状态,但是现实情况中,比如可能某个机器开了一段时间 Z i Z_i Zi ,零件损坏,需要关闭一段时间 Y i Y_i Yi 才能修好,下一个零件的寿命又是 Z i + 1 Z_{i+1} Zi+1,维修时间为 Y i + 1 Y_{i+1} Yi+1 ,每当系统被打开称为一次更新。
假设随机向量列 { ( Z n , Y n ) , n ≥ 1 } \{(Z_n,\,Y_n),\,n\geq 1\} {(Zn,Yn),n≥1} 是独立同分布的,即 Z i , Y j Z_i,\,Y_j Zi,Yj 在 i ≠ j i\not=j i=j 时时独立的,但 Z i Z_i Zi , Y i Y_i Yi 允许不独立。
Th:设
H
H
H 是
Z
n
Z_n
Zn 的分布,
G
G
G 是
Y
n
Y_n
Yn 的分布,
F
F
F 是
Z
n
+
Y
n
Z_n+Y_n
Zn+Yn 的分布,并记
P
(
t
)
=
P
(
t
时刻系统是开的
)
P(t)=P(t\,时刻系统是开的)
P(t)=P(t时刻系统是开的) ,设
E
(
Y
n
+
Z
n
)
<
∞
E(Y_n+Z_n)\lt \infty
E(Yn+Zn)<∞ ,且
F
F
F 不是格点分布,则:
lim
t
→
∞
P
(
t
)
=
E
(
Z
n
)
E
(
Z
n
)
+
E
(
Y
n
)
\lim\limits_{t\to\infty}P(t)=\frac{E(Z_n)}{E(Z_n)+E(Y_n)}
t→∞limP(t)=E(Zn)+E(Yn)E(Zn)
直观上理解还是很好理解的,开的概率肯定就是开的时间所占的比例,使用关键更新定理证明:
证明:对第一次更新的时刻
X
1
=
Z
1
+
Y
1
X_1=Z_1+Y_1
X1=Z1+Y1 取条件概率:
P
(
t
时刻系统开着
∣
X
1
=
x
)
=
{
P
(
Z
1
>
t
∣
Z
1
+
Y
1
>
t
)
x
≥
t
P
(
t
−
x
)
x
<
t
P(t\,时刻系统开着|X_1=x)=\left\{ \begin{array}{ll} P(Z_1\gt t|Z_1+Y_1\gt t) & x\geq t \\ P(t-x) & x\lt t \end{array} \right.
P(t时刻系统开着∣X1=x)={P(Z1>t∣Z1+Y1>t)P(t−x)x≥tx<t
- 如果 x ≥ t x\geq t x≥t ,说明 t t t 时刻处于第一次更新前,所以要保证在 Z 1 + Y 1 > t Z_1+Y_1\gt t Z1+Y1>t 的前提下,系统要从头开到 t t t 时刻,即 Z 1 > t Z_1\gt t Z1>t ;
- 如果 x < t x\lt t x<t ,说明到 t t t 时刻时,第一次更新已经结束了,由独立性得,剩下的时间是否开和第一次更新的时间无关
则:
P
(
t
)
=
∫
0
∞
P
(
t
时刻系统开着
∣
X
1
=
x
)
d
F
(
x
)
=
P
(
Z
1
>
t
)
+
∫
0
t
P
(
t
−
x
)
d
F
(
x
)
=
H
ˉ
(
t
)
+
∫
0
t
P
(
t
−
x
)
d
F
(
x
)
\begin{align} P(t)=&\,\int_{0}^{\infty}P(t\,时刻系统开着|X_1=x)\,dF(x) \\ =&\,P(Z_1\gt t)+\int_0^tP(t-x)\,dF(x) \\ =&\,\bar{H}(t)+\int_0^tP(t-x)\,dF(x) \end{align}
P(t)===∫0∞P(t时刻系统开着∣X1=x)dF(x)P(Z1>t)+∫0tP(t−x)dF(x)Hˉ(t)+∫0tP(t−x)dF(x)
这是一个更新方程,解得:
P
(
t
)
=
H
ˉ
(
t
)
+
∫
0
t
H
ˉ
(
t
−
x
)
d
M
(
x
)
P(t)=\bar{H}(t)+\int_0^t\bar{H}(t-x)\,dM(x)
P(t)=Hˉ(t)+∫0tHˉ(t−x)dM(x)
又
∫
0
∞
H
ˉ
(
t
)
d
t
=
E
(
Z
1
)
<
∞
\int_0^\infty \bar{H}(t)\,dt=E(Z_1)\lt \infty
∫0∞Hˉ(t)dt=E(Z1)<∞ ,而且显然
H
ˉ
(
t
)
\bar{H}(t)
Hˉ(t) 非负不增,由关键更新定理得:
lim
t
→
∞
P
(
t
)
=
1
E
(
Z
1
+
Y
1
)
∫
0
∞
H
ˉ
(
t
)
d
t
=
E
(
Z
1
)
E
(
Z
1
)
+
E
(
Y
1
)
\lim\limits_{t\to\infty}P(t)=\frac{1}{E(Z_1+Y_1)}\int_{0}^{\infty}\bar{H}(t)\,dt=\frac{E(Z_1)}{E(Z_1)+E(Y_1)}
t→∞limP(t)=E(Z1+Y1)1∫0∞Hˉ(t)dt=E(Z1)+E(Y1)E(Z1)