本文介绍了AR(1)模型的参数估计方法，包括使用最小二乘法和极大似然估计。通过这两个方法，可以求解出模型中的参数(phi_0)、(phi_1)和(sigma_epsilon^2)。文章详细展示了计算过程，解释了为何在给定条件下，序列(y_t)服从正态分布，并提供了条件极大似然估计的推导。
Problem
设 A R ( 1 ) AR(1) AR(1) 模型为 y t = ϕ 0 + ϕ 1 y t − 1 + ϵ t y_t=\phi_0+\phi_1y_{t-1}+\epsilon_t yt=ϕ0+ϕ1yt−1+ϵt， ϵ t ∼ i . i . d . N ( 0 , σ ϵ 2 ) \epsilon_t\mathop{\sim}\limits^{i.i.d.} N(0,\sigma_\epsilon^2) ϵt∼i.i.d.N(0,σϵ2) ，求解参数 ϕ 0 , ϕ 1 , σ ϵ 2 \phi_0,\phi_1,\sigma_\epsilon^2 ϕ0,ϕ1,σϵ2。
最小二乘法
假设观测样本为 { y 1 , y 2 , … , y T } \{y_1,y_2,\ldots,y_T\} {y1,y2,…,yT}，则可通过最小二乘求解参数 ϕ 0 \phi_0 ϕ0 和 ϕ 1 \phi_1 ϕ1。
m i n ϕ 0 , ϕ 1 L ( ϕ 0 , ϕ 1 ) = ∑ t = 2 T ( y t − ϕ 0 − ϕ 1 y t − 1 ) 2 \mathop{min}\limits_{\phi_0,\;\phi_1}\;L(\phi_0,\phi_1)=\sum\limits_{t=2}^T\left(y_t-\phi_0-\phi_1y_{t-1}\right)^2 ϕ0,ϕ1minL(ϕ0,ϕ1)=t=2∑T(yt−ϕ0−ϕ1yt−1)2
分别对 ϕ 0 \phi_0 ϕ0 和 ϕ 1 \phi_1 ϕ1 求偏导，可得：
{ ∂ L ∂ ϕ 0 = − 2 ∑ t = 2 T ( y t − ϕ 0 − ϕ 1 y t − 1 ) = 0 ∂ L ∂ ϕ 1 = − 2 ∑ t = 2 T y t − 1 ( y t − ϕ 0 − ϕ 1 y t − 1 ) = 0 \begin{cases} \dfrac{\partial L}{\partial\phi_0}=-2\sum\limits_{t=2}^T\left(y_t-\phi_0-\phi_1 y_{t-1}\right)=0 \\ \dfrac{\partial L}{\partial\phi_1}=-2\sum\limits_{t=2}^Ty_{t-1}\left(y_t-\phi_0-\phi_1y_{t-1} \right)=0 \end{cases} ⎩ ⎨ ⎧∂ϕ0∂L=−2t=2∑T(yt−ϕ0−ϕ1yt−1)=0∂ϕ1∂L=−2t=2∑Tyt−1(yt−ϕ0−ϕ1yt−1)=0
求解可得。
若令 ϕ = ( ϕ 0 , ϕ 1 ) ′ \phi=(\phi_0,\phi_1)' ϕ=(ϕ0,ϕ1)′， X t = ( 1 , Y t − 1 ) ′ X_t=(1,Y_{t-1})^\prime Xt=(1,Yt−1)′，则有
Y t = X t ′ ϕ + ϵ t , t = 2 , … , T Y_t=X_t^\prime\phi+\epsilon_t,\;t=2,\ldots,T Yt=Xt′ϕ+ϵt,t=2,…,T 且 ϕ ^ = a r g m i n ϕ E ( Y t − X t ′ ϕ ) 2 \hat{\phi}=\mathop{argmin}\limits_{\phi}\;E(Y_t-X_t^\prime\phi)^2 ϕ^=ϕargminE(Yt−Xt′ϕ)2
求偏导可得：
∂ ∂ ϕ E ( Y t − X t ′ ϕ ) 2 = − 2 E ( Y t − X t ′ ϕ ) ∂ ∂ ϕ X t ′ ϕ = − 2 E ( Y t − X t ′ ϕ ) X t = − 2 E X t ( Y t − X t ′ ϕ ) = − 2 E X t Y t + 2 E X t X t ′ ϕ = 0 \dfrac{\partial}{\partial\phi}E(Y_t-X_t^\prime\phi)^2=-2E(Y_t-X_t^\prime\phi)\dfrac{\partial}{\partial\phi}X_t^\prime\phi=-2E(Y_t-X_t^\prime\phi)X_t=-2EX_t(Y_t-X_t^\prime\phi)=-2EX_tY_t+2EX_tX_t^\prime\phi=0 ∂ϕ∂E(Yt−Xt′ϕ)2=−2E(Yt−Xt′ϕ)∂ϕ∂Xt′ϕ=−2E(Yt−Xt′ϕ)Xt=−2EXt(Yt−Xt′ϕ)=−2EXtYt+2EXtXt′ϕ=0
进而可得：
ϕ ^ = ( ϕ 0 ^ ϕ 1 ^ ) = ( E X t X t ′ ) − 1 E X t Y t = ( 1 E Y t − 1 E Y t − 1 E Y t − 1 2 ) − 1 ( E Y t E Y t − 1 Y t ) = ( 1 1 T − 1 ∑ t = 2 T y t − 1 1 T − 1 ∑ t = 2 T y t − 1 1 T − 1 ∑ t = 2 T y t − 1 2 ) − 1 ( 1 T − 1 ∑ t = 2 T y t 1 T − 1 ∑ t = 2 T y t − 1 y t ) \hat{\phi}=\left(\begin{matrix}\hat{\phi_0}\\\hat{\phi_1}\end{matrix}\right)=(EX_tX_t^\prime)^{-1}EX_tY_t=\left(\begin{matrix}1&EY_{t-1}\\EY_{t-1}&EY_{t-1}^2 \end{matrix}\right)^{-1}\left(\begin{matrix}EY_t\\EY_{t-1}Y_t\end{matrix}\right)=\left(\begin{matrix}1&\dfrac{1}{T-1}\sum\limits_{t=2}^Ty_{t-1}\\\dfrac{1}{T-1}\sum\limits_{t=2}^Ty_{t-1}&\dfrac{1}{T-1}\sum\limits_{t=2}^Ty_{t-1}^2 \end{matrix}\right)^{-1}\left(\begin{matrix}\dfrac{1}{T-1}\sum\limits_{t=2}^Ty_t\\\dfrac{1}{T-1}\sum\limits_{t=2}^Ty_{t-1}y_t \end{matrix}\right) ϕ^=(ϕ0^ϕ1^)=(EXtXt′)−1EXtYt=(1EYt−1EYt−1EYt−12)−1(EYtEYt−1Yt)= 1T−11t=2∑Tyt−1T−11t=2∑Tyt−1T−11t=2∑Tyt−12 −1 T−11t=2∑TytT−11t=2∑Tyt−1yt
极大似然估计
假设 A R ( 1 ) AR(1) AR(1) 平稳，即 ∣ ϕ 1 ∣ < 1 |\phi_1|<1 ∣ϕ1∣<1.
设 μ = E y t \mu=Ey_t μ=Eyt，进而有： μ = ϕ 0 + ϕ 1 μ \mu=\phi_0+\phi_1\mu μ=ϕ0+ϕ1μ，故 μ = ϕ 0 1 − ϕ 1 \mu=\dfrac{\phi_0}{1-\phi_1} μ=1−ϕ1ϕ0；设 σ 2 = V a r ( y t ) \sigma^2=Var(y_t) σ2=Var(yt)，进而有： σ 2 = ϕ 1 2 σ 2 + σ ϵ 2 \sigma^2=\phi_1^2\sigma^2+\sigma_\epsilon^2 σ2=ϕ12σ2+σϵ2，故 σ 2 = σ ϵ 2 1 − ϕ 1 2 \sigma^2=\dfrac{\sigma_\epsilon^2}{1-\phi_1^2} σ2=1−ϕ12σϵ2.
因此，我们可以得到 y 1 y_1 y1 的分布： y 1 ∼ N ( ϕ 0 1 − ϕ 1 , σ ϵ 2 1 − ϕ 1 2 ) y_1\sim N(\dfrac{\phi_0}{1-\phi_1},\dfrac{\sigma_\epsilon^2}{1-\phi_1^2}) y1∼N(1−ϕ1ϕ0,1−ϕ12σϵ2).
为什么 y 1 y_1 y1 服从正态分布?
y t = ϕ 0 + ϕ 1 y t − 1 + ϵ t = ϕ 0 + ϕ 1 ϕ 0 + ϕ 1 2 y t − 2 + ϕ 1 ϵ t − 1 + ϵ t = ϕ 0 + ϕ 1 ϕ 0 + ϕ 1 2 ϕ 0 + ϕ 1 3 y t − 3 + ϕ 1 2 ϵ t − 2 + ϕ 1 ϵ t − 1 + ϵ t = ⋯ = ∑ i = 0 n − 1 ϕ 1 i ϕ 0 + ϕ 1 n y t − n + ∑ i = 0 n − 1 ϕ 1 i ϵ t − i \begin{align*} y_t&=\phi_0+\phi_1y_{t-1}+\epsilon_t \\ &=\phi_0+\phi_1\phi_0+\phi_1^2y_{t-2}+\phi_1\epsilon_{t-1}+\epsilon_t \\ &=\phi_0+\phi_1\phi_0+\phi_1^2\phi_0+\phi_1^3y_{t-3}+\phi_1^2\epsilon_{t-2}+\phi_1\epsilon_{t-1}+\epsilon_t \\ &=\cdots \\ &=\sum\limits_{i=0}^{n-1}\phi_1^i\phi_0+\phi_1^ny_{t-n}+\sum\limits_{i=0}^{n-1}\phi_1^i\epsilon_{t-i} \end{align*} yt=ϕ0+ϕ1yt−1+ϵt=ϕ0+ϕ1ϕ0+ϕ12yt−2+ϕ1ϵt−1+ϵt=ϕ0+ϕ1ϕ0+ϕ12ϕ0+ϕ13yt−3+ϕ12ϵt−2+ϕ1ϵt−1+ϵt=⋯=i=0∑n−1ϕ1iϕ0+ϕ1nyt−n+i=0∑n−1ϕ1iϵt−i
∵ ∣ ϕ 1 ∣ < 1 , ∴ ϕ 1 n → 0 ( n → ∞ ) 又 ∵ ϵ t ∼ N ( 0 , σ ϵ 2 ) ∴ y t 服从正态分布 \begin{aligned} &\because\; |\phi_1|<1, \\ &\therefore\; \phi_1^n\rightarrow0\;(n\rightarrow\infty) \\ &又\because\; \epsilon_t\sim N(0,\sigma_\epsilon^2) \\ &\therefore\; y_t服从正态分布& \end{aligned} ∵∣ϕ1∣<1,∴ϕ1n→0(n→∞)又∵ϵt∼N(0,σϵ2)∴yt服从正态分布
另一方面，由于 E ( y t ∣ y t − 1 ) = ϕ 0 + ϕ 1 y t − 1 E(y_t|y_{t-1})=\phi_0+\phi_1y_{t-1} E(yt∣yt−1)=ϕ0+ϕ1yt−1， V a r ( y t ∣ y t − 1 ) = σ ϵ 2 Var(y_t|y_{t-1})=\sigma_\epsilon^2 Var(yt∣yt−1)=σϵ2，我们可以得到： y t ∣ y t − 1 ∼ N ( ϕ 0 + ϕ 1 y t − 1 , σ ϵ 2 ) y_t|y_{t-1}\sim N(\phi_0+\phi_1y_{t-1},\sigma_\epsilon^2) yt∣yt−1∼N(ϕ0+ϕ1yt−1,σϵ2).
为什么 y t ∣ y t − 1 y_t|y_{t-1} yt∣yt−1 服从正态分布？
在 y t = ϕ 0 + ϕ 1 y t − 1 + ϵ t y_t=\phi_0+\phi_1y_{t-1}+\epsilon_t yt=ϕ0+ϕ1yt−1+ϵt 中， y t − 1 y_{t-1} yt−1 给定， ϵ t \epsilon_t ϵt 服从正态分布，故 y t ∣ y t − 1 y_t|y_{t-1} yt∣yt−1 服从正态分布。
于是，设 θ = ( ϕ 0 , ϕ 1 , σ ϵ 2 ) ′ \theta=(\phi_0,\phi_1,\sigma_\epsilon^2)^\prime θ=(ϕ0,ϕ1,σϵ2)′，可以得到似然函数为：
L ( θ ) = f θ ( y 1 , … , y T ) = ∏ t = 2 T f θ ( y t ∣ y 1 , … , y t − 1 ) f θ ( y 1 ) = ∏ t = 2 T f θ ( y t ∣ y t − 1 ) f θ ( y 1 ) = ∏ t = 2 T 1 2 π σ ϵ 2 e x p ( − ( y t − ϕ 0 − ϕ 1 y t − 1 ) 2 2 σ ϵ 2 ) 1 2 π σ ϵ 2 / ( 1 − ϕ 1 2 ) e x p ( − ( y 1 − ϕ 0 / ( 1 − ϕ 1 ) ) 2 2 σ ϵ 2 / ( 1 − ϕ 1 2 ) ) \begin{align*} L(\theta)&=f_\theta(y_1,\dots,y_T) \\ &=\prod\limits_{t=2}^T f_\theta(y_t|y_1,\dots,y_{t-1})f_\theta(y_1) \\ &=\prod\limits_{t=2}^Tf_\theta(y_t|y_{t-1})f_\theta(y_1) \\ &=\prod\limits_{t=2}^T\dfrac{1}{\sqrt{2\pi\sigma_\epsilon^2}}exp\left(-\dfrac{(y_t-\phi_0-\phi_1y_{t-1})^2}{2\sigma_\epsilon^2}\right)\dfrac{1}{\sqrt{2\pi\sigma_\epsilon^2/(1-\phi_1^2)}}exp\left(-\dfrac{(y_1-\phi_0/(1-\phi_1))^2}{2\sigma_\epsilon^2/(1-\phi_1^2)} \right) \end{align*} L(θ)=fθ(y1,…,yT)=t=2∏Tfθ(yt∣y1,…,yt−1)fθ(y1)=t=2∏Tfθ(yt∣yt−1)fθ(y1)=t=2∏T2πσϵ21exp(−2σϵ2(yt−ϕ0−ϕ1yt−1)2)2πσϵ2/(1−ϕ12)1exp(−2σϵ2/(1−ϕ12)(y1−ϕ0/(1−ϕ1))2)
l ( θ ) = l n L ( θ ) = − T − 1 2 l n 2 π σ ϵ 2 − ∑ t = 2 T ( y t − ϕ 0 − ϕ 1 y t − 1 ) 2 2 σ ϵ 2 − 1 2 l n 2 π σ ϵ 2 1 − ϕ 1 2 − ( y 1 − ϕ 0 / ( 1 − ϕ 1 ) ) 2 2 σ ϵ 2 / ( 1 − ϕ 1 2 ) \begin{align*} l(\theta)&=lnL(\theta) \\ &=-\dfrac{T-1}{2}ln2\pi\sigma_\epsilon^2-\sum\limits_{t=2}^T\dfrac{(y_t-\phi_0-\phi_1y_{t-1})^2}{2\sigma_\epsilon^2}-\dfrac{1}{2}ln\dfrac{2\pi\sigma_\epsilon^2}{1-\phi_1^2}-\dfrac{(y_1-\phi_0/(1-\phi_1))^2}{2\sigma_\epsilon^2/(1-\phi_1^2)} \end{align*} l(θ)=lnL(θ)=−2T−1ln2πσϵ2−t=2∑T2σϵ2(yt−ϕ0−ϕ1yt−1)2−21ln1−ϕ122πσϵ2−2σϵ2/(1−ϕ12)(y1−ϕ0/(1−ϕ1))2
对 − l ( θ ) -l(\theta) −l(θ) 用梯度下降可求解参数。
条件极大似然估计
给定 y 1 y_1 y1，那么条件似然函数为：
L ( θ ) = f θ ( y 2 , … , y T ∣ y 1 ) = ∏ t = 2 T f θ ( y t ∣ y 1 , … , y t − 1 ) = ∏ t = 2 T f θ ( y t ∣ y t − 1 ) = ∏ t = 2 T 1 2 π σ ϵ 2 e x p ( − ( y t − ϕ 0 − ϕ 1 y t − 1 ) 2 2 σ ϵ 2 ) \begin{align*} L(\theta)&=f_\theta(y_2,\dots,y_T|y_1) \\ &=\prod\limits_{t=2}^Tf_\theta(y_t|y_1,\dots,y_{t-1}) \\ &=\prod\limits_{t=2}^Tf_\theta(y_t|y_{t-1}) \\ &=\prod\limits_{t=2}^T\dfrac{1}{\sqrt{2\pi\sigma_\epsilon^2}}exp\left(-\dfrac{(y_t-\phi_0-\phi_1y_{t-1})^2}{2\sigma_\epsilon^2}\right) \end{align*} L(θ)=fθ(y2,…,yT∣y1)=t=2∏Tfθ(yt∣y1,…,yt−1)=t=2∏Tfθ(yt∣yt−1)=t=2∏T2πσϵ21exp(−2σϵ2(yt−ϕ0−ϕ1yt−1)2)
l ( θ ) = l n L ( θ ) = − 1 2 ∑ t = 2 T l n 2 π σ ϵ 2 − ∑ t = 2 T ( y t − ϕ 0 − ϕ 1 y t − 1 ) 2 2 σ ϵ 2 \begin{align*} l(\theta)&=lnL(\theta) \\ &=-\dfrac{1}{2}\sum\limits_{t=2}^Tln2\pi\sigma_\epsilon^2-\sum\limits_{t=2}^T\dfrac{(y_t-\phi_0-\phi_1y_{t-1})^2}{2\sigma_\epsilon^2} \end{align*} l(θ)=lnL(θ)=−21t=2∑Tln2πσϵ2−t=2∑T2σϵ2(yt−ϕ0−ϕ1yt−1)2
同样对 − l ( θ ) -l(\theta) −l(θ) 用梯度下降可求解参数。
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
