时间序列分析个人学习笔记2

时间序列分析方法的依据：
时间序列描述：n个随机变量在任意n个时间点$t_1,t_2,\dots,t_n$的集合
一个时间序列有联合分布函数，定义如下：
$F_{t_1,t_2,\dots，t_n}（c_1，c_2,\dots,c_n)=P_r(x_{t_1}\leq c_1,x_{t_2}\leq c_2,\dots,x_{t_n}\leq c_n)$.
但是只有随机变量的联合分布正常，才可以这么写，大多数情况下写不出联合分布函数，联合分布函数用于时间序列分析很不方便：因为n元，所以任何相应的多变量密度函数的绘图实际上都是不可能的。

---

如果我们想测量边际行为呢？
边际分布函数：$F_t(x)=P\{x_t\leq x\}$
边际密度函数：$f_t(x)=\frac{\partial F_t(x)}{\partial x}$
除此之外还有mean function

mean fuction：
$\mu_{xt}=E(x_t)=\int_{-\infty}^{\infty}xf_t(x)dx$
不产生误解时，可把$\mu_{xt}$记作$\mu_t$

---

例13 Mean Function of a Moving Average Series
$w_t$是white noise，$\mu_{wt}=E(w_t)=0$,对于所有的t成立，在white noise的图中就可以看到，曲线在0附近变动。
$v_t$是Moving Average Series的，$\mu_{vt}=E(v_{t})=\frac{1}{3}[E(w_{t-1})+E(w_t)+E(w_{t+1})]=0$

---

例14 Mean Function of a Random Walk with Drift
我们知道如果$x_t$是Random Walk with Drift的，就有：
$x_t=\sigma t+\sum_{j=1}^{t}w_j,t=1,2,\dots$
$\mu_{xt}=E(x_t)=\sigma t+\sum_{j=1}^{t}E(w_j)=\sigma t$
画出来是一条斜率为$\sigma$的直线。

---

例15 Mean Function of Signal Plus Noise
现实中的许多应用都可以看成是一个信号波加上一个期望为0的噪声。
$\mu_{xt}=E(x_t)=E[Acos(wt+\phi)+w_t]=E(Acos(wt+\phi))+E(w_t)$
$=Acos(wt+\phi)$

---

假设$x_t$是有限的，有如下定义
Autocovariance Function:（用来评价一个序列中两个不同时间点的线性相关性）

$\gamma_x(s,t)=cov(x_s,x_t)=E[(x_s-\mu_s)(x_t-\mu_t)]$，对于任意的s，t。

注：

• cov是用来评价$x_t,x_s$之间的独立性关系的。
• “光滑”的序列，就算t和s相距很远，AF也会很大；
  “曲折”的序列，t，s相距很远的时候，AF几乎为0.
• 统计术语：$\gamma_x(s, t)=0$, $x_t,x_s$不是线性相关，但是他们可能还有其他的关系；如果$x_t,x_s$服从二元正态分布，那么他们$\gamma_x(s, t)=0$就代表相互独立。
  证明：
  
• 如果s=t，那么AF就变成了方差：$\gamma_x(t,t)=E[(x_t-\mu_t)^2]=var(x_t)$

---

例16 Autocovariance of White Noise
$\gamma_w(s, t)=cov(w_s,w_t)=$

• $s=t$, =$\sigma_w^2$
• $s\neq t$,=$0$

---

例17 Autocovariance of a Moving Average
$\gamma_v(s, t)=cov(v_s,v_t)=cov\{\frac{1}{3}(w_{s-1}+w_s+w_{s+1}),\frac{1}{3}(w_{t-1}+w_t+w_{t+1})\}.$

• $s=t$,
  $\gamma_v(t,t)=\frac{1}{9}cov\{w_{s-1}+w_s+w_{s+1},w_{t-1}+w_t+w_{t+1}\}=\frac{1}{3}\sigma_w^2$

• $s=t+1,or\ s=t-1$
  $\gamma_v(s,t)=\frac{2}{9}\sigma_w^2$

• otherwise
  $\gamma_v(s, t)=0$

他的Autocovariance只跟s和t的距离有关。

---

例18 Autocovariance of a Random Walk
$x_t=\sum_{j=1}^{t}w_j$
$\gamma(s, t)=cov(x_t,x_s)=cov(\sum_{j=1}^{t}w_j,\sum_{j=1}^{s}w_j)=min\{s,t\}\sigma^2$

---

Autocorrelation fuction(ACF):
$\rho(s, t)=\frac{\gamma(s, t)}{\sqrt{\gamma(s,s)\gamma(t,t)}}$
如果$x_s，x_t$之间是线性关系，$| \rho(s,t)|=1$

---

考虑两个时间序列$y_t$和$x_s$:
cross-covariance function:
$\gamma_{xy}(s,t)=cov(x_s,y_t)=E[(x_s-\mu_{xs})(y_t-\mu_{yt})]$

---

cross-correlation funtion(CCF):(比例显示的cross-covariance function）
$\rho_{xy}(s,t)=\frac{\gamma_{xy}(s,t)}{\sqrt{\gamma_x(s,s)\gamma_y(t,t)}}$

---

大于两个时间序列的cross-covariance function:
多元时间序列（一共有r个）：
$x_{t1},x_{t2},\dots,x_{tr}$,
$\gamma_{jk}(s, t)=E[(x_{sj}-\mu_{sj})(x_{tk}-\mu_{tk})]\ \ j,k=1,2,\dots,r.$
当s，t历遍整个序列的时候，上述值在改变。

---

在例17中，可以看到，ACF只跟s和t的距离有关系。只要s和t之间的距离是h，那么s和h的具体位置并不重要。当平均值不变时，这个概念称为弱平稳性（weak stationarity）。

Strictly Stationary Time Series：
一个时间序列中任意可能出现的变量集$\{ x_{t_1},x_{t_2},\dots,x_{t_k}\}$等同于$\{ x_{t_1+h},x_{t_2+h},\dots,x_{t_k+h}\}$,这就意味着：
$Pr\{x_{t_1}\leq c_1,\dots,x_{t_k}\leq c_k\}=Pr\{x_{t_1+h}\leq c_1,\dots,x_{t_k+h}\leq c_k\}$
对于任意的$k=1,2,\dots$，任意的时间点$t_1,t_2,\dots,t_k$,任意的数$c_1,c_2,\dots,c_k$,以及任意的时间变换$h=0,\pm 1,\pm 2,\dots .$

也就是说：变量子集的所有多变量分布函数必须与移位集合（对应于任意移位参数h）的变量的多元分布函数一致。

• 假设$k=1$,$Pr(x_s\leq c)=Pr(x_t\leq c)$,任意s,t都是成立的。
  简单来说，就是一个时间序列在下午一点和晚上10点的值是一样的。如果mean function存在，假设是$\mu_t$,那就代表$\mu_t=\mu_s$,对于任意的t，s都是成立的，这就说明这个时间序列的mean function是一个常数。所以， random walk with drift就不是严格稳定的。
• 当k=2的时候，有$Pr\{x_{t_1}\leq c_1,x_{t_2}\leq c_2\}=Pr\{x_{t_1+h}\leq c_1,x_{t_2+h}\leq c_2\}$,对于任意的s，t，h。我么可以知道这两个时间序列的AF就是：
  $$\gamma(s,t)=\gamma(s+h,t+h)$$
  这就说明他们的AF只跟时间差有关，跟s，t无关。

---

Weakly Stationary:
一个时间序列$x_t$,满足：

• mean function $\mu_t$,是常数跟时间t无关；、
• AF，$\gamma(s, t)$只跟s和t的距离有关。
  （后面用Stationary代表Weakly Stationary）

注：
- 如果一个时间序列是Gaussian（序列里面所有有限的分布都是Gaussian）那么从Stationarity就可以推出Strictly Stationary。
- $\mu_t$固定，记为$\mu$
- $s=t+h$，$\gamma(t+h,t)=cov(x_{t+h},x_t)=cov(x_h,x_0)=\gamma(h,0)$
改写$\gamma(s, t)$为$\gamma(h)$

---

AF of a stationary time series:
$\gamma(h)=cov(x_{t+h},x_t)=E[(x_{t+h}-\mu)(x_t-\mu)]$

ACF of a stationary time series:
$\rho(h)=\frac{\gamma(t+h,t)}{\sqrt{\gamma(t+h,t+h)\gamma(t,t)}}=\frac{\gamma(h)}{\gamma(0)}$

由Cauchy-Schwarz不等式知道：$-1\leq \rho(h) \leq 1$，对于任意的h。

---

例19 Stationary of WN

• $\mu_{wt}=0$;

• h=0,$\gamma_w(h)=cov(w_t,w_t)=\sigma_w^2$
  $h\neq 0,\gamma_w(h)=0$

• $\rho_w(0)=1,\rho_w(h)=0,when\ h\neq 0$

所以WN是stationary，如果WN还是Gaussian分布，那么WN还是Strictly Stationary，还可以知道他们还是相互独立（iid）的.

---

例20 Stationary of Moving Average
由例13和例17知道，Moving Average也是stationary。

• $\mu=0$
• $h=0,\gamma(h)=\frac{3}{9}\sigma_w^2$，$\rho(h)=1$;
• $|h|=1,\gamma(h)=\frac{2}{9}\sigma_w^2$，$\rho(h)=\frac{2}{3}$;
• $|h|=2,\gamma(h)=\frac{1}{9}\sigma_w^2$，$\rho(h)=\frac{1}{3}$;
• $|h|>2,\gamma(h)=0$，$\rho(h)=0$.

---

例21 Random Walk is Not Stationary
因为$\gamma(s, t)=min\{s,t\}\sigma_w^2$跟时间有关，同时$\mu_{xt}=\delta t$

---

Trend Stationarity
考虑$x_t=\alpha +\beta t+y_t$, 其中$y_t$是Stationary：

• $\mu_{x,t}=E(x_t)=\alpha +\beta t+\mu_y$,与时间有关。
• $\gamma_x(h)=cov(x_{t+h},x_t)=E[(x_{t+h}-\mu_{x,t+h})(x_t-\mu_{x,t})]=E[(y_{t+h}-\mu_y)(y_t-\mu_{y})]=\gamma_y(h).$

该模型可被视为具有线性趋势的Stationary,被称作trend stationary。

---

AF of a stationary process 有哪些性质呢？

1. $\gamma(h)$是非负的，任意的$n\geq 1$，常数$a_1,\dots, a_n$,
   

   $$0\leq var(a_1x_1+\dots+a_nx_n)=\sum_{j=1}^{n}\sum_{k=1}^{n}a_ja_k\gamma(j-k)$$

2. $\gamma(0)=E[(x_t-\mu)^2]$,由cauchy-schwarz不等式知道：
   

   $$|\gamma(h)|\leq \gamma(0)$$

3. $\gamma(h)=\gamma(-h)$,理由：
   

   $$\gamma((t+h)-t)=cov(x_{t+h},x_t)=cov(x_{t},x_{t+h})=\gamma(t-(t+h))$$

4. 图像关于0对称
   

---

jointly stationary:
$x_t,y_t$都是时间序列，而且都是stationary，他们的cross-covariance有如下性质：

$$\gamma_{xy}(h)=cov(x_{t+h},y_t)=E[(x_{t+h}-\mu_x)(y_t-\mu_y)]$$ 只跟h有关,那他们就是jointly stationary的。

---

cross-correlation function（CCF）：
$x_t,y_t$是jointly stationary的，CCF定义如下：

$$\rho_{xy}(h)=\frac{\gamma_{xy}(h)}{\sqrt{\gamma_x(0)\gamma_y(0)}}$$

• 这个值被-1和1界定。
• CCF并不关于0对称，因为$cov(x_2,y_1)$和$cov(x_1,y_2)$不一定相等。
• $\rho_{xy}(h)=\rho_{yx}(-h)$

---

例24 Prediction Using Cross-Correlation
考虑确定两个序列之间可能的前导或滞后关系的问题：
$y_t=Ax_{t-l}+w_t$

• $l>0$,$x_t$ is leading $y_t$

• $l<0$,$x_t$ is lagging $y_t$

  我们希望知道他们之间是leading还是lagging的，从而就可以从$x_t$中预测出$y_t$,假设噪音$w_t$和$x_t$序列之间是不相关的，那么CCF就是：
  

  $$\gamma_{yx}(h)=cov(y_{t+h},x_t)=cov(Ax_{t+h-l}+w_{t+h},x_t)$$
  $$=cov(Ax_{t+h-l},x_t)=A\gamma_x(h-l)$$
  由Cauchy-Schwarz公示知道，$\gamma_x(h-l)$的最大值是$\gamma_x(0)$,此时$h=l$.
  when l=5:
  

---

Linear Process：
white noise：$w_t$；
$x_t=\mu+\sum_{j=-\infty}^{\infty}\psi_jw_{t-j},\ \ \ \sum_{j=-\infty}^{\infty}|\psi_j|<\infty$
我们还可以计算出他的AF：

$$\gamma_x(h)=\sigma_w^2\sum_{j=-\infty}^{\infty}\psi_{j+h}\psi_j,\ \ for\ all\ h\geq 0$$
注：

• $\gamma_x(h)=\gamma_x(-h)$;
• $\sum_{j=-\infty}^{\infty}\psi_j^2<\infty$，就知道$x_t$有方差；
• 大多数模型(causal linear process)，都有$\psi_j=0,\ for\ j<0$.

---

Gaussian process:
一个时间序列$\{x_t\}$,对于任意的n，任意n个时间点$t_1,t_2,\dots,t_n$，$x=(x_{t_1},x_{t_2},\dots,x_{t_n})^T$都是多元正态分布的。

$E(x)=\mu=(\mu_{t_1},\dots,\mu_{t_n})^T$，$n\times n$的方差矩阵$var(x)=\Gamma=\{\gamma(t_i,t_j);i,j=1,\dots,n\}$，假设都是正的，那么多元正态密度函数就可以写成：

$$f(x)=(2\pi )^{-\frac{n}{2}}|\Gamma|^{-\frac{1}{2}}exp\{-\frac{1}{2}(x-\mu)^T\Gamma^{-1}(x-\mu)\},$$

注：

• 如果一个Gaussian时间序列是weakly stationary，那么他的$\mu_t$和$\gamma(t_i,t_j)$都是和时间差有关，而和具体的时间没有关系，由$f(x)$的表达式可以知道，$f(x)$也只是和时间差有关和真正的时间无关，所以这个时间序列还是strictly stationary。
• Wold Decomposition：A Stationary non-deterministic time series is a causal linear process.
  Gaussian time series 一定是 causal linear process, $w_t \sim \ iid\ N(0,\sigma_w^2)$
• 边缘分布是高斯分布的序列不一定是高斯的，这样的情况很常见,$X，Y$是正态分布的，但是$(X,Y)$不是二元正态分布的。举例：X，Z是相互独立且成正态分布的，当$XZ>0,\ Y=Z$，当$XZ\leq 0,\ Y=-Z$.