随机过程 更新过程(下)

随机过程 更新过程(下)

更新定理

Feller 初等更新定理

在 Poisson 过程中,我们有 M ( t ) = E [ N ( t ) ] = λ t M(t)=E[N(t)]=\lambda t M(t)=E[N(t)]=λt ,因此:
M ( t ) t = λ = 1 E ( X i ) \frac{M(t)}{t}=\lambda=\frac{1}{E(X_i)} tM(t)=λ=E(Xi)1
t → ∞ t\to\infty t 时,一般的更新过程也有该性质。

Feller 初等更新定理:记 μ = E ( X i ) \mu=E(X_i) μ=E(Xi) ,则:(若 μ = ∞ \mu=\infty μ= ,则 1 μ = 0 \frac{1}{\mu}=0 μ1=0
M ( t ) t → 1 μ \frac{M(t)}{t}\to \frac{1}{\mu} tM(t)μ1
证明:首先假设 μ < ∞ \mu<\infty μ< ,我们证明 lim inf ⁡ t → ∞ M ( t ) t ≥ 1 μ \liminf\limits_{t\to\infty}\frac{M(t)}{t}\geq\frac{1}{\mu} tliminftM(t)μ1 lim sup ⁡ t → ∞ M ( t ) t ≤ 1 μ \limsup\limits_{t\to\infty}\frac{M(t)}{t}\leq\frac{1}{\mu} tlimsuptM(t)μ1 同时成立

① 由于:(就是说第 t t t 时刻已经更新了 N ( t ) N(t) N(t) 次,那么要更新 N ( t ) + 1 N(t)+1 N(t)+1 次所需要的时间肯定比 t t t 要大)
T N ( t ) + 1 > t T_{N(t)+1}>t TN(t)+1>t
两边取期望,使用 Wald 等式:
E ( T N ( t ) + 1 ) = E ( X i ) E [ N ( t ) + 1 ] = μ [ M ( t ) + 1 ] > t E(T_{N(t)+1})=E(X_i)E[N(t)+1]=\mu[M(t)+1]\gt t E(TN(t)+1)=E(Xi)E[N(t)+1]=μ[M(t)+1]>t
即:
M ( t ) t > 1 μ − 1 t \frac{M(t)}{t}\gt \frac{1}{\mu}-\frac{1}{t} tM(t)>μ1t1
两边取极限得到:
lim inf ⁡ t → ∞ M ( t ) t ≥ 1 μ \liminf\limits_{t\to \infty}\frac{M(t)}{t}\geq \frac{1}{\mu} tliminftM(t)μ1
② 固定常数 M M M ,构造一个新的随机变量:
X n c = { X n X n ≤ M M X n > M X_n^c=\left\{ \begin{array}{ll} X_n & X_n \le M \\ M & X_n \gt M \end{array} \right. Xnc={XnMXnMXn>M
{ X i c } \{X_i^c\} {Xic} 确定一个新的更新过程,令:
T n c = ∑ i = 1 n X n c N ( t ) c = sup ⁡ { n :   T n c ≤ t } \begin{array}{c} T_n^c=\sum\limits_{i=1}^{n}X_n^c \\ N(t)^c=\sup\{n:\, T_n^c \leq t \} \end{array} Tnc=i=1nXncN(t)c=sup{n:Tnct}
由于 X n c ≤ M X_n^c\leq M XncM ,所有:
T N ( t ) c + 1 c = T N ( t ) c c + X N ( t ) c + 1 c ≤ t + M T^c_{N(t)^c+1}=T_{N(t)^c}^c+X_{N(t)^c+1}^c\leq t+M TN(t)c+1c=TN(t)cc+XN(t)c+1ct+M
使用和上边一样的技巧,两边取期望,使用 Wald 等式:
μ M [ M ( t ) c + 1 ] ≤ t + M   ⇒   M ( t ) c t + M ≤ 1 μ M − 1 t + M \mu_M[M(t)^c+1]\leq t+M \,\Rightarrow\, \frac{M(t)^c}{t+M}\leq \frac{1}{\mu_M}-\frac{1}{t+M} μM[M(t)c+1]t+Mt+MM(t)cμM1t+M1
两边取极限,得到:
lim sup ⁡ t → ∞ M ( t ) c t ≤ 1 μ M \limsup\limits_{t\to\infty}\frac{M(t)^c}{t}\leq \frac{1}{\mu_M} tlimsuptM(t)cμM1
因为 X n c ≤ X n X_n^c\leq X_n XncXn ,所以 T n c ≤ T n T_{n}^c\leq T_{n} TncTn ,因此 N ( t ) c ≥ N ( t ) N(t)^c \geq N(t) N(t)cN(t) M ( t ) c ≥ M ( t ) M(t)^c\geq M(t) M(t)cM(t) ,所以:
lim sup ⁡ t → ∞ M ( t ) t ≤ lim sup ⁡ t → ∞ M ( t ) c t ≤ 1 μ M \limsup\limits_{t\to\infty}\frac{M(t)}{t}\leq\limsup\limits_{t\to\infty}\frac{M(t)^c}{t}\leq \frac{1}{\mu_M} tlimsuptM(t)tlimsuptM(t)cμM1
M → ∞ M\to\infty M ,有 X n c → X n X_n^c\to X_n XncXn E ( X n c ) → E ( X n ) E(X_n^c)\to E(X_n) E(Xnc)E(Xn) ,即 μ M → μ \mu_M\to\mu μMμ ,所以:
lim sup ⁡ t → ∞ M ( t ) t ≤ 1 μ \limsup\limits_{t\to\infty}\frac{M(t)}{t}\leq \frac{1}{\mu} tlimsuptM(t)μ1
综合 ① 和 ② 得到: lim ⁡ t → ∞ M ( t ) t = 1 μ \lim\limits_{t\to\infty}\frac{M(t)}{t}=\frac{1}{\mu} tlimtM(t)=μ1

μ = ∞ \mu=\infty μ= 时,在考虑 X n c X_n^c Xnc 的确定过程,当 M → ∞ M\to\infty M 时, μ M → ∞ \mu_M\to\infty μM ,所以也是成立的;

Blackwell 更新定理

μ < ∞ \mu\lt \infty μ< 时,Feller 初等更新定理可以看作当 t → ∞ t\to\infty t 时, M ( t ) ∼ t μ M(t)\sim \frac{t}{\mu} M(t)μt (注意 M ( t ) M(t) M(t) 是个函数)。那我们可以研究一下当 t → ∞ t\to\infty t 时,对于任意一个 h h h ,是否有:
M ( t + h ) − M ( t ) → t + h μ − t μ = h μ M(t+h)-M(t)\to\frac{t+h}{\mu}-\frac{t}{\mu}= \frac{h}{\mu} M(t+h)M(t)μt+hμt=μh
格点分布:称随机变量 X X X 服从格点分布(或随机变量 X X X 的分布 F F F 是格点的),若存在 d ≥ 0 d\geq 0 d0 ,使得:
∑ n = 0 ∞ P ( X = n d ) = 1 \sum\limits_{n=0}^{\infty}P(X=nd)=1 n=0P(X=nd)=1
称满足上述条件的最大 d d d 称为此格点分布的周期。

注意

  • 上述定义只能知道 F F F 在不是 n d nd nd 上取值为 0,但不代表所有的 n d nd nd 都被取到了,有可能有限个 n d nd nd 的概率相加已经为 1 1 1 了。
  • 格点分布是一类离散分布,例如二项分布、泊松分布都是格点分布,但是有一些离散分布并不属于格点分布,因为离散分布的值域只要是可数的就行,例如某个随机变量 X X X 的分布为:

X 1 2 1 3 1 4 1 5 ⋯ P ( X ) 1 2 1 2 2 1 2 3 1 2 4 ⋯ \begin{array}{c|c|c|c|c|c} \hline X & \frac{1}{2} & \frac{1}{3} & \frac{1}{4} & \frac{1}{5} & \cdots\\ \hline P(X) & \frac{1}{2} & \frac{1}{2^2} & \frac{1}{2^3} & \frac{1}{2^4} & \cdots \\ \hline \end{array} XP(X)2121312214123151241

这样的话 X X X 是离散分布的,但是找不到一个 d d d 使得任意 1 k \frac{1}{k} k1 都用 n d nd nd 来表示,因此 X X X 不是格点分布

Blackwell 更新定理:记 μ = E ( X n ) \mu=E(X_n) μ=E(Xn)

  • F F F 不是格点分布,则对一切 a ≥ 0 a\geq0 a0 ,当 t → ∞ t\to\infty t 时,有:

M ( t + a ) − M ( t ) → a μ M(t+a)-M(t)\to \frac{a}{\mu} M(t+a)M(t)μa

  • F F F 是格点分布,周期为 d d d ,则当 n → ∞ n\to\infty n 时,有:

P ( 在 n d 时刻发生更新 ) → d μ P(在 nd 时刻发生更新)\to \frac{d}{\mu} P(nd时刻发生更新)μd

这个定理书上都没有捏,估计是看不懂,可以直观理解一下。当不是格点分布时,表示在长度为 a a a 的时间区间内发生的平均次数为 a μ \frac{a}{\mu} μa,这个跟初等更新定理时差不多的意思。但是当 F F F 为格点分布时,由于更新只发生在 d d d 的整数倍,所以更新次数的多少依赖于区间上 n d nd nd 点的数目,而同样长的区间所含形如 n d nd nd 点的数目可能是不同的。而平均来说,单位时间发生的次数为 1 μ \frac{1}{\mu} μ1 ,所以可以认为平均到每个时间长度为 d d d 的区间上,平均发生次数为 1 d \frac{1}{d} d1

如上边所说,Feller 初等更新定理时 Blackwell 更新定理的特殊情况。令 b n = M ( t + 1 ) − M ( t ) b_n=M(t+1)-M(t) bn=M(t+1)M(t) ,当 F F F 不是格点分布时,有:
lim ⁡ n → ∞ b n = 1 μ \lim\limits_{n\to\infty}b_n=\frac{1}{\mu} nlimbn=μ1
由极限的四则运算得:
b 1 + b 2 + ⋯ + b n n = M ( n ) n → 1 μ \frac{b_1+b_2+\cdots+b_n}{n}=\frac{M(n)}{n}\to \frac{1}{\mu} nb1+b2++bn=nM(n)μ1
从而对任意实数 t t t (相当于连续时间),有:
⌊ t ⌋ t ⋅ M ( ⌊ t ⌋ ) ⌊ t ⌋ ≤ M ( t ) t ≤ ⌊ t ⌋ + 1 t ⋅ M ( ⌊ t ⌋ + 1 ) ⌊ t ⌋ + 1 \frac{\lfloor t \rfloor}{t}\cdot \frac{M(\lfloor t \rfloor)}{\lfloor t \rfloor}\leq \frac{M(t)}{t}\leq\frac{\lfloor t \rfloor+1}{t}\cdot \frac{M(\lfloor t \rfloor + 1)}{\lfloor t \rfloor+1} tttM(⌊t⌋)tM(t)tt+1t+1M(⌊t+1)
t → ∞ t\to\infty t ,由夹逼定理可知:
M ( t ) t → 1 μ \frac{M(t)}{t}\to\frac{1}{\mu} tM(t)μ1
F F F 是格点分布时,这里就不是取 ⌊ t ⌋ \lfloor t\rfloor t ⌊ t ⌋ + 1 \lfloor t\rfloor+1 t+1 了,而是取离 t t t 前后两个最近的 n d nd nd ,然后也可以由夹逼定理得到一样的结果。

关键更新定理

关键更新定理:记 μ = E ( X n ) \mu=E(X_n) μ=E(Xn) ,设函数 h ( t ) h(t) h(t) ( t ∈ [ 0 ,   ∞ ) ) (t\in[0,\,\infty)) (t[0,)) ,满足(1) h ( t ) h(t) h(t) 非负不增;(2) ∫ 0 ∞ h ( t )   d t < ∞ \int_0^{\infty}h(t)\,dt\lt \infty 0h(t)dt< H ( t ) H(t) H(t) 是更新方程:
H ( t ) = h ( t ) + ∫ 0 t H ( t − s )   d F ( s ) H(t)=h(t)+\int_{0}^{t}H(t-s)\,dF(s) H(t)=h(t)+0tH(ts)dF(s)
的解( F ( x ) F(x) F(x) 就是 X i X_i Xi 的分布函数)。那么:

  • F F F 不是格点分布,有:

lim ⁡ t → ∞ H ( t ) = { 1 μ ∫ 0 ∞ h ( x )   d x μ < ∞ 0 μ = ∞ \lim\limits_{t\to\infty}H(t)=\left\{ \begin{array}{l} \frac{1}{\mu}\int_0^{\infty}h(x)\,dx & \mu\lt \infty \\ 0 & \mu=\infty \end{array} \right. tlimH(t)={μ10h(x)dx0μ<μ=

  • F F F 是格点分布,对于 0 ≤ c < d 0\leq c\lt d 0c<d ,有:

lim ⁡ n → ∞ H ( c + n d ) = { d μ ∑ n = 0 ∞ h ( c + n d ) μ < ∞ 0 μ = ∞ \lim\limits_{n\to\infty}H(c+nd)=\left\{ \begin{array}{l} \frac{d}{\mu}\sum\limits_{n=0}^{\infty}h(c+nd) & \mu\lt \infty \\ 0 & \mu=\infty \end{array} \right. nlimH(c+nd)= μdn=0h(c+nd)0μ<μ=

关键更新定理和 Blackwell 更新定理是等价的,所以同样没有证明hhhh。但是我们可以简单证明以下二者的等价性:(考虑 F F F 不是格点分布、 μ < ∞ \mu<\infty μ< 的情况)

① 关键更新定理 → \to Blackwell 更新定理:对于任意 a ≥ 0 a\geq 0 a0 ,我们令:
h ( t ) = { 1 0 ≤ t ≤ a 0 t > a h(t)=\left\{\begin{array}{l} 1 & 0 \leq t \leq a \\ 0 & t \gt a \end{array} \right. h(t)={100tat>a

这样 h ( t ) h(t) h(t) 就满足了非负不增的条件,并且在正数区间上积分也是有限的。这样我们就可以得到 H ( t ) H(t) H(t) 的解:(我们取 t → ∞ t\to\infty t
H ( t ) = h ( t ) + ∫ 0 t h ( t − s )   d M ( s ) = ∫ t − a t d M ( s ) = M ( t ) − M ( t − a ) H(t)=h(t)+\int_{0}^{t}h(t-s)\,dM(s)=\int_{t-a}^tdM(s)=M(t)-M(t-a) H(t)=h(t)+0th(ts)dM(s)=tatdM(s)=M(t)M(ta)
其中 M ( t ) M(t) M(t) F ( t ) F(t) F(t) 的更新函数,又有:
lim ⁡ t → ∞ H ( t ) = 1 μ ∫ 0 ∞ h ( x )   d x = a μ \lim\limits_{t\to\infty}H(t)=\frac{1}{\mu}\int_0^{\infty}h(x)\,dx=\frac{a}{\mu} tlimH(t)=μ10h(x)dx=μa
因此得到 Blackwell 更新定理 F ( t ) F(t) F(t) 为非格点分布的情况:
lim ⁡ t → ∞ M ( t ) − M ( t − a ) = a μ \lim\limits_{t\to\infty}M(t)-M(t-a)=\frac{a}{\mu} tlimM(t)M(ta)=μa
② Blackwell 更新定理 → \to 关键更新定理:也是和上面一样的假设:考虑 F F F 不是格点分布、 μ < ∞ \mu<\infty μ< 的情况,根据 Blackwell 更新定理有:
lim ⁡ t → ∞ M ( t + a ) − M ( t ) a = 1 μ \lim\limits_{t\to\infty}\frac{M(t+a)-M(t)}{a}=\frac{1}{\mu} tlimaM(t+a)M(t)=μ1
则:
lim ⁡ a → 0 lim ⁡ t → ∞ M ( t + a ) − M ( t ) a = 1 μ \lim\limits_{a\to0}\lim\limits_{t\to\infty}\frac{M(t+a)-M(t)}{a}=\frac{1}{\mu} a0limtlimaM(t+a)M(t)=μ1
假设极限次序可以交换,那么有:
lim ⁡ t → ∞ d M ( t ) d t = 1 μ \lim\limits_{t\to\infty}\frac{dM(t)}{dt}=\frac{1}{\mu} tlimdtdM(t)=μ1
因为 ∫ 0 ∞ h ( t )   d t < ∞ \int_0^{\infty}h(t)\,dt\lt \infty 0h(t)dt< ,所以 lim ⁡ t → ∞ h ( t ) = 0 \lim\limits_{t\to\infty}h(t)=0 tlimh(t)=0 , 则 H ( t ) H(t) H(t) 有:
lim ⁡ t → ∞ H ( t ) = lim ⁡ t → ∞ h ( t ) + lim ⁡ t → ∞ ∫ 0 t h ( t − s )   d M ( s ) = 1 μ ∫ 0 ∞ h ( t )   d t \lim\limits_{t\to\infty}H(t)=\lim\limits_{t\to\infty}h(t)+\lim\limits_{t\to\infty}\int_{0}^{t}h(t-s)\,dM(s)=\frac{1}{\mu}\int_{0}^{\infty}h(t)\,dt tlimH(t)=tlimh(t)+tlim0th(ts)dM(s)=μ10h(t)dt

更新定理的应用

技巧:直接使用更新定理,这些题目往往直接算出期望来,然后使用 Feller 初等更新定理即可;

:某机器使用电池供电,设电池寿命 X i X_i Xi 服从均值为 45h 的正态分布,电池失效时需要去仓库领取,领取时间 Y i Y_i Yi 服从期望为 0.5 h,求长时间工作时机器更换电池的速率

:更换电池的速率,就是长时间更换次数除以时间,设 N ( t ) N(t) N(t) 表示到时刻 t t t 为止更换的次数,平均更新时间为 E ( X i + Y i ) = 45.5 E(X_i+Y_i)=45.5 E(Xi+Yi)=45.5 ,则根据更新定理,更换电池的速率为:
lim ⁡ t → ∞ E [ N ( t ) ] t = lim ⁡ t → ∞ M ( t ) t = 1 E ( X i + Y i ) = 2 91   ( 次 / 小时 ) \lim\limits_{t\to\infty}\frac{E[N(t)]}{t}=\lim\limits_{t\to\infty}\frac{M(t)}{t}=\frac{1}{E(X_i+Y_i)}=\frac{2}{91} \,(次/小时) tlimtE[N(t)]=tlimtM(t)=E(Xi+Yi)1=912(/小时)
技巧:利用某些过程的无记忆性(还是叫独立增量性哇),我们可以写出一些递归的表达式,转换成更新方程,就可以求出某些分布函数

:(剩余寿命与年龄的极限分布)以 r ( t ) = T N ( t ) + 1 − t r(t)=T_{N(t)+1}-t r(t)=TN(t)+1t 表示 t t t 时刻的剩余寿命,即从 t t t 时刻开始到下次更新剩余的时间, s ( t ) = t − T N ( t ) s(t)=t-T_{N(t)} s(t)=tTN(t) t t t 时刻的年龄,求 r ( t ) r(t) r(t) s ( t ) s(t) s(t) 的极限分布。

:解释一下题目, 把当前看成 t t t 时刻,则 T N ( t ) T_{N(t)} TN(t) 为上一次更新的时间,所以年龄是 t − T N ( t ) t-T_{N(t)} tTN(t) T N ( t ) + 1 T_{N(t)+1} TN(t)+1 是下一次更新的时间,所以 T N ( t ) + 1 − t T_{N(t)+1}-t TN(t)+1t 是剩余的寿命

R ˉ y ( t ) = P ( r ( t ) > y ) \bar{R}_y(t)=P(r(t)\gt y) Rˉy(t)=P(r(t)>y) ,对第一次更新的时刻 X 1 X_1 X1 取条件,得:
P ( r ( t ) > y   ∣   X 1 = x ) = { 1 x > t + y 0 t < x ≤ t + y R ˉ y ( t − x ) 0 < x ≤ t P(r(t)\gt y\,|\,X_1=x)=\left\{ \begin{array}{l} 1 & x\gt t+y \\ 0 & t\lt x \leq t+y \\ \bar{R}_y(t-x) & 0\lt x \leq t \end{array} \right. P(r(t)>yX1=x)= 10Rˉy(tx)x>t+yt<xt+y0<xt

  • x > t + y x\gt t+y x>t+y 时,说明第一次更新发生在 t + y t+y t+y 时刻后,则 t t t 时刻的剩余寿命为 x − t > y x-t\gt y xt>y ,所以剩余寿命一定比 y y y 要大,概率为 1;
  • t < x ≤ t + y t\lt x \leq t+y t<xt+y 时,说明第一次更新发生在当前时刻之后, t + y t+y t+y 时刻之前,说明剩余寿命 x − t < y x-t<y xt<y ,所以剩余寿命一定不比 y y y 要大,概率为 0;
  • 0 < x ≤ t 0\lt x \leq t 0<xt 时,说明第一次更新发生在当前时刻后,我们可以递归进行以上过程,按照无记忆性去理解

由全概率公式,可以得到:
R ˉ y ( t ) =   ∫ 0 ∞ P ( r ( t ) > y   ∣   X 1 = x )   d F ( x ) =   ∫ t + y ∞ d F ( x ) + ∫ 0 t R ˉ y ( t − x )   d F ( x ) =   1 − F ( t + y ) + ∫ 0 t R ˉ y ( t − x )   d F ( x ) \begin{align} \bar{R}_y(t)=&\,\int_{0}^{\infty}P(r(t)\gt y\,|\,X_1=x)\,dF(x) \\ =&\,\int_{t+y}^{\infty}dF(x)+\int_{0}^{t}\bar{R}_y(t-x)\,dF(x) \\ =&\,1-F(t+y)+\int_{0}^{t}\bar{R}_y(t-x)\,dF(x) \\ \end{align} Rˉy(t)===0P(r(t)>yX1=x)dF(x)t+ydF(x)+0tRˉy(tx)dF(x)1F(t+y)+0tRˉy(tx)dF(x)
这就得到了一个更新方程,其解为:
R ˉ y ( x ) = 1 − F ( t + y ) + ∫ 0 ∞ ( 1 − F ( t + y − x ) )   d M ( x ) \bar{R}_y(x)=1-F(t+y)+\int_{0}^{\infty}(1-F(t+y-x))\,dM(x) Rˉy(x)=1F(t+y)+0(1F(t+yx))dM(x)
我们假设 μ = E ( X 1 ) < ∞ \mu=E(X_1)\lt\infty μ=E(X1)< ,则:(这一步我没有理解为什么)
μ = ∫ 0 ∞ x   d F ( x ) = ∫ 0 ∞ [ 1 − F ( x ) ]   d x < ∞ \mu=\int_{0}^{\infty}x\,dF(x)=\int_{0}^{\infty}[1-F(x)]\,dx\lt \infty μ=0xdF(x)=0[1F(x)]dx<
因此:
∫ 0 ∞ [ 1 − F ( t + y ) ]   d t = ∫ y ∞ [ 1 − F ( t ) ]   d y < ∞ \int_0^{\infty}[1-F(t+y)]\,dt=\int_{y}^{\infty}[1-F(t)]\,dy\lt \infty 0[1F(t+y)]dt=y[1F(t)]dy<
由关键更新定理得到剩余寿命的极限分布为:
lim ⁡ t → ∞ P ( r ( t ) > y ) = lim ⁡ t → ∞ R ˉ y ( t ) = 1 μ ∫ y ∞ [ 1 − F ( t ) ]   d t \lim\limits_{t\to\infty}P(r(t)\gt y)=\lim\limits_{t\to\infty}\bar{R}_y(t)=\frac{1}{\mu}\int_y^{\infty}[1-F(t)]\,dt tlimP(r(t)>y)=tlimRˉy(t)=μ1y[1F(t)]dt

年龄的分布式可以由上面的式子得出,注意到:
{ r ( t ) > x ,   s ( t ) > y }    ⟺    { r ( t − y ) > x + y } \{ r(t)\gt x, \,s(t)\gt y \} \iff \{ r(t-y)\gt x+y \} {r(t)>x,s(t)>y}{r(ty)>x+y}
所以:
lim ⁡ t → ∞ P ( r ( t ) > x ,   s ( t ) > y ) = lim ⁡ t → ∞ P ( r ( t − y ) > x + y ) = 1 μ ∫ x + y ∞ [ 1 − F ( t ) ]   d t \lim\limits_{t\to\infty}P(r(t)\gt x, \,s(t)\gt y)=\lim\limits_{t\to\infty}P(r(t-y)\gt x+y)=\frac{1}{\mu}\int_{x+y}^{\infty}[1-F(t)]\,dt tlimP(r(t)>x,s(t)>y)=tlimP(r(ty)>x+y)=μ1x+y[1F(t)]dt
特别地,可以得到年龄的极限分布:
lim ⁡ t → ∞ P ( s ( t ) > y ) = lim ⁡ t → ∞ P ( s ( t ) > y , r ( t ) > 0 ) = 1 μ ∫ y ∞ [ 1 − F ( t ) ]   d t \lim\limits_{t\to\infty}P(s(t)\gt y)=\lim\limits_{t\to\infty}P(s(t)\gt y, r(t)\gt 0)=\frac{1}{\mu}\int_y^{\infty}[1-F(t)]\,dt tlimP(s(t)>y)=tlimP(s(t)>y,r(t)>0)=μ1y[1F(t)]dt
可以看到剩余寿命和年龄的极限分布相同。

更新过程的推广

延迟更新过程

延迟更新过程:仅仅对 X 1 X_1 X1 作出特殊假设,允许 X 1 X_1 X1 服从与其他 X i   ( i > 1 ) X_i \,(i\gt 1) Xi(i>1) 不同的分布 G G G ,但仍然是相互独立的。这样的话,更新定理仍然是成立的,只是说 M ( t ) = G ∗ F ∗ F ∗ ⋯ ( t ) M(t)=G*F*F*\cdots(t) M(t)=GFF(t) ,第一次更新的时刻对无穷远的情况并没有很大影响

:对于上边机器换零件的情况,我们可以认为开始观察时第一个零件已经使用一段时间了,所以它的分布和后续的分布就不一样

更新回报过程

更新回报过程:类似于复合 Poisson 过程,设:
R ( t ) = ∑ i = t N ( t ) R i R(t)=\sum\limits_{i=t}^{N(t)}R_i R(t)=i=tN(t)Ri
其中 { N ( t ) ,   t ≥ 0 } \{N(t),\,t\geq 0\} {N(t),t0} 是一个更新过程, R i R_i Ri 独立同分布且与 N ( t ) N(t) N(t) 独立,则称 R ( t ) R(t) R(t) 是一个更新回报过程。可以理解为, R i R_i Ri 是第 i i i 次更新获得的回报。更一般的更新过程,可以要求 R i R_i Ri 只依赖于 X i X_i Xi ,但是随机向量列 ( X 1 ,   R i ) (X_1,\,R_i) (X1,Ri) 独立同分布。。

更新回报定理:若更新回报过程满足 E ( X i ) < ∞ E(X_i)\lt \infty E(Xi)< E ( R i ) < ∞ E(R_i)\lt \infty E(Ri)< ,则有:

  • lim ⁡ t → ∞ R ( t ) t = E ( R i ) E ( X i ) \lim\limits_{t\to\infty}\frac{R(t)}{t}=\frac{E(R_i)}{E(X_i)} tlimtR(t)=E(Xi)E(Ri) 以概率 1 成立
  • lim ⁡ t → ∞ E [ R ( t ) ] t = E ( R i ) E ( X i ) \lim\limits_{t\to\infty}\frac{E[R(t)]}{t}=\frac{E(R_i)}{E(X_i)} tlimtE[R(t)]=E(Xi)E(Ri)

以上定理可以分别由强大数定理和更新方程及定理证明

:(产品保修策略)设某公司所出售的商品采取如下更换策略:

  • 若产品在售出 w w w 时间内损坏,则免费更换相同产品;
  • 若在 ( w ,   w + T ] (w,\,w+T] (w,w+T] 期间损坏,则按使用时间折价更换新产品;

对在 ( 0 ,   w ] (0,\,w] (0,w] 内更换的新产品执行原来的更换期,而对在 ( w ,   w + T ] (w,\,w+T] (w,w+T] 内折价更换的新产品,则从更换时刻重新计算更换期。讨论长期执行此策略对厂家的期望利润的影响。(假定产品一旦损坏,顾客立刻更换、折换或者购买新的)。

:设 t = 0 t=0 t=0 时刻顾客购买了一个新产品,售价 c c c ,成本 c 0 < c c_0\lt c c0<c ,产品寿命为 X X X ,服从分布函数为 F ( t ) F(t) F(t) ,且 E ( X ) = μ < ∞ E(X)= \mu\lt \infty E(X)=μ< 。设用户相邻两次购买的间隔(包括全价购买和折换购买、不包括免费更换)为 Y 1 Y_1 Y1 Y 2 Y_2 Y2 ⋯ \cdots 。因为每次更换的产品都是新的,所以 Y Y Y 独立同分布。记 Y Y Y 的分布为 G ( t ) G(t) G(t) ,记 N ( t ) N(t) N(t) ( 0 ,   t ] (0,\,t] (0,t] 时间内的更换次数, T n T_n Tn 为第 n n n 次更换的时间, M ( t ) = E [ N ( t ) ] M(t)=E[N(t)] M(t)=E[N(t)] 。(乐,已经定义了一堆东西,但是大部分符号都是之前见过的)

首先计算用户在 ( 0 ,   Y 1 ) (0,\,Y_1) (0,Y1) 内的花费期望 E ( Y 1 ) E(Y_1) E(Y1) ,对于用户而言,更换策略为:
{ 0 y ≤ w c ( y − w ) T w < y < w + T \left\{ \begin{array}{l} 0 & y\leq w \\ \frac{c(y-w)}{T} & w\lt y \lt w+T \end{array} \right. {0Tc(yw)yww<y<w+T
其中 y y y 为使用时间。设 R w R_w Rw 为产品在 w w w 时刻的剩余寿命,则 Y 1 = w + R w Y_1=w+R_w Y1=w+Rw ,且 Y 1 = T N ( w ) + 1 Y_1=T_{N(w)+1} Y1=TN(w)+1 (这两个等式好好理解一下。。。第一个等式是因为 Y i Y_i Yi 不包括免费更换,所以是 w w w 时间以后第一次坏掉的时间(即 R w R_w Rw )再加上之前 w w w 的时间;第二个等式同样是因为 Y i Y_i Yi 不包括免费更换,所以 N ( w ) N(w) N(w) 次更新后的下一次更新就是用户第一次不能免费更换的更新)

由前面证明剩余寿命的过程中得到:
P ( w + R w > t ) = R ˉ t − w ( w ) = 1 − F ( t ) + ∫ 0 w [ 1 − F ( t − x ) ] d M ( x ) = F ˉ ( t ) + ∫ 0 w F ˉ ( t − x )   d M ( x ) P(w+R_w\gt t)=\bar{R}_{t-w}(w)=1-F(t)+\int_{0}^{w}[1-F(t-x)]dM(x)=\bar{F}(t)+\int_0^w\bar{F}(t-x)\,dM(x) P(w+Rw>t)=Rˉtw(w)=1F(t)+0w[1F(tx)]dM(x)=Fˉ(t)+0wFˉ(tx)dM(x)
所以
G ˉ ( t ) =   P ( Y 1 > t ) =   { 1 0 ≤ t ≤ w P ( w + R w > t ) = F ˉ ( t ) + ∫ 0 w F ˉ ( t − x )   d M ( x ) t > w \begin{align} \bar{G}(t)=&\,P(Y_1\gt t) \\ =&\, \left\{ \begin{array}{ll} 1 & 0\leq t \leq w \\ P(w+R_w\gt t)=\bar{F}(t)+\int_{0}^{w}\bar{F}(t-x)\,dM(x) & t\gt w \end{array} \right. \end{align} Gˉ(t)==P(Y1>t){1P(w+Rw>t)=Fˉ(t)+0wFˉ(tx)dM(x)0twt>w
由 wald 等式得:
E ( Y 1 ) = E [ T N ( t ) + 1 ] = μ [ 1 + M ( w ) ] E(Y_1)=E[T_{N(t)+1}]=\mu[1+M(w)] E(Y1)=E[TN(t)+1]=μ[1+M(w)]
( 0 ,   Y 1 ] (0,\,Y_1] (0,Y1] 内用户花费为 c 1 c_1 c1 ,则:
c 1 = { c Y 1 > w + T c ( Y 1 − w ) T w < Y 1 ≤ w + T c_1=\left\{ \begin{array}{ll} c & Y_1\gt w+T \\ \frac{c(Y_1-w)}{T} & w\lt Y_1 \le w+T \end{array} \right. c1={cTc(Y1w)Y1>w+Tw<Y1w+T
从而:
E ( c 1 ) = c G ˉ ( w + T ) + c T ∫ w w + T ( t − w )   d G ( t ) E(c_1)=c\bar{G}(w+T)+\frac{c}{T}\int_{w}^{w+T}(t-w)\,dG(t) E(c1)=cGˉ(w+T)+Tcww+T(tw)dG(t)
对右边第二项换元、分部积分,得到:
=   c ( 1 − G ( w + T ) ) + c T ∫ 0 T t d G ( t + w ) =   c ( 1 − G ( w + T ) ) + c G ( w + T ) − c T ∫ 0 T G ( t + w )   d t =   c − c T ∫ 0 T ( 1 − G ˉ ( t + w ) )   d t =   c T ∫ 0 T G ˉ ( t + w )   d t =   c T ∫ 0 T P ( R w > x ) d x \begin{align} =&\,c(1-G(w+T))+\frac{c}{T}\int_{0}^{T}tdG(t+w) \\ =&\,c(1-G(w+T))+cG(w+T)-\frac{c}{T}\int_{0}^{T}G(t+w)\,dt \\ =&\, c-\frac{c}{T}\int_{0}^{T}(1-\bar{G}(t+w))\,dt \\ =&\,\frac{c}{T}\int_0^T\bar{G}(t+w)\,dt \\ =&\,\frac{c}{T}\int_{0}^TP(R_w\gt x)dx \\ \end{align} =====c(1G(w+T))+Tc0TtdG(t+w)c(1G(w+T))+cG(w+T)Tc0TG(t+w)dtcTc0T(1Gˉ(t+w))dtTc0TGˉ(t+w)dtTc0TP(Rw>x)dx
于是用户的长期平均费用为(更新回报定理):
c ( w ,   T ) = E ( c 1 ) E ( Y 1 ) = c ∫ 0 T P ( R w > x )   d x T μ ( 1 + M ( w ) ) c(w,\,T)=\frac{E(c_1)}{E(Y_1)}=\frac{c\int_0^TP(R_w\gt x)\,dx}{T\mu(1+M(w))} c(w,T)=E(Y1)E(c1)=Tμ(1+M(w))c0TP(Rw>x)dx

对于公司而言,在 ( 0 ,   w ] (0,\,w] (0,w] 内免费更换产品的个数的期望值为 E ( N ( w ) ) = M ( w ) E(N(w))=M(w) E(N(w))=M(w) ,因此,在一个购买周期 ( 0 ,   Y 1 ] (0,\,Y_1] (0,Y1] 内,公司所付成本为 c 0 [ M ( t ) + 1 ] c_0[M(t)+1] c0[M(t)+1] ,公司从每个用户所得的长期平均利润为:
c ( w ,   T ) − c 0 ( 1 + M ( t ) ) μ ( 1 + M ( t ) ) = c ( w ,   T ) − c 0 μ c(w,\,T)-\frac{c_0(1+M(t))}{\mu(1+M(t))}=c(w,\,T)-\frac{c_0}{\mu} c(w,T)μ(1+M(t))c0(1+M(t))=c(w,T)μc0

交替更新过程

更新过程仅考虑了一种状态,但是现实情况中,比如可能某个机器开了一段时间 Z i Z_i Zi ,零件损坏,需要关闭一段时间 Y i Y_i Yi 才能修好,下一个零件的寿命又是 Z i + 1 Z_{i+1} Zi+1,维修时间为 Y i + 1 Y_{i+1} Yi+1 ,每当系统被打开称为一次更新。

假设随机向量列 { ( Z n ,   Y n ) ,   n ≥ 1 } \{(Z_n,\,Y_n),\,n\geq 1\} {(Zn,Yn),n1} 是独立同分布的,即 Z i ,   Y j Z_i,\,Y_j Zi,Yj i ≠ j i\not=j i=j 时时独立的,但 Z i Z_i Zi Y i Y_i Yi 允许不独立。

Th:设 H H H Z n Z_n Zn 的分布, G G G Y n Y_n Yn 的分布, F F F Z n + Y n Z_n+Y_n Zn+Yn 的分布,并记 P ( t ) = P ( t   时刻系统是开的 ) P(t)=P(t\,时刻系统是开的) P(t)=P(t时刻系统是开的) ,设 E ( Y n + Z n ) < ∞ E(Y_n+Z_n)\lt \infty E(Yn+Zn)< ,且 F F F 不是格点分布,则:
lim ⁡ t → ∞ P ( t ) = E ( Z n ) E ( Z n ) + E ( Y n ) \lim\limits_{t\to\infty}P(t)=\frac{E(Z_n)}{E(Z_n)+E(Y_n)} tlimP(t)=E(Zn)+E(Yn)E(Zn)
直观上理解还是很好理解的,开的概率肯定就是开的时间所占的比例,使用关键更新定理证明:

证明:对第一次更新的时刻 X 1 = Z 1 + Y 1 X_1=Z_1+Y_1 X1=Z1+Y1 取条件概率:
P ( t   时刻系统开着 ∣ X 1 = x ) = { P ( Z 1 > t ∣ Z 1 + Y 1 > t ) x ≥ t P ( t − x ) x < t P(t\,时刻系统开着|X_1=x)=\left\{ \begin{array}{ll} P(Z_1\gt t|Z_1+Y_1\gt t) & x\geq t \\ P(t-x) & x\lt t \end{array} \right. P(t时刻系统开着X1=x)={P(Z1>tZ1+Y1>t)P(tx)xtx<t

  • 如果 x ≥ t x\geq t xt ,说明 t t t 时刻处于第一次更新前,所以要保证在 Z 1 + Y 1 > t Z_1+Y_1\gt t Z1+Y1>t 的前提下,系统要从头开到 t t t 时刻,即 Z 1 > t Z_1\gt t Z1>t
  • 如果 x < t x\lt t x<t ,说明到 t t t 时刻时,第一次更新已经结束了,由独立性得,剩下的时间是否开和第一次更新的时间无关

则:
P ( t ) =   ∫ 0 ∞ P ( t   时刻系统开着 ∣ X 1 = x )   d F ( x ) =   P ( Z 1 > t ) + ∫ 0 t P ( t − x )   d F ( x ) =   H ˉ ( t ) + ∫ 0 t P ( t − x )   d F ( x ) \begin{align} P(t)=&\,\int_{0}^{\infty}P(t\,时刻系统开着|X_1=x)\,dF(x) \\ =&\,P(Z_1\gt t)+\int_0^tP(t-x)\,dF(x) \\ =&\,\bar{H}(t)+\int_0^tP(t-x)\,dF(x) \end{align} P(t)===0P(t时刻系统开着X1=x)dF(x)P(Z1>t)+0tP(tx)dF(x)Hˉ(t)+0tP(tx)dF(x)
这是一个更新方程,解得:
P ( t ) = H ˉ ( t ) + ∫ 0 t H ˉ ( t − x )   d M ( x ) P(t)=\bar{H}(t)+\int_0^t\bar{H}(t-x)\,dM(x) P(t)=Hˉ(t)+0tHˉ(tx)dM(x)
∫ 0 ∞ H ˉ ( t )   d t = E ( Z 1 ) < ∞ \int_0^\infty \bar{H}(t)\,dt=E(Z_1)\lt \infty 0Hˉ(t)dt=E(Z1)< ,而且显然 H ˉ ( t ) \bar{H}(t) Hˉ(t) 非负不增,由关键更新定理得:
lim ⁡ t → ∞ P ( t ) = 1 E ( Z 1 + Y 1 ) ∫ 0 ∞ H ˉ ( t )   d t = E ( Z 1 ) E ( Z 1 ) + E ( Y 1 ) \lim\limits_{t\to\infty}P(t)=\frac{1}{E(Z_1+Y_1)}\int_{0}^{\infty}\bar{H}(t)\,dt=\frac{E(Z_1)}{E(Z_1)+E(Y_1)} tlimP(t)=E(Z1+Y1)10Hˉ(t)dt=E(Z1)+E(Y1)E(Z1)

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Air浩瀚

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值