w4

随机过程 Stochastic Process
$\{Y_t\}$，称$\{Y_1 = y_1, Y_2 = y_2, \cdots, Y_T = y_T\}$为长度为$T$的随机过程的一个实现。
$\{Y_t\}$平稳表明它各个方面的行为不随时间$t$的变化而变化。

---

严平稳：
对于任意给定的有限的整数$r$，联合分布$(Y_t, Y_{t_1}, \cdots, Y_{t_r})$仅依赖$t_i -t$而不依赖时刻$t$。
严平稳的性质：
1.对于所有的时间$t$，$Y_t$的各阶矩在不同时刻是相同的。
2.以严平稳过程为自变量的函数值也是严平稳的，即$Y_t$严平稳，则$g(Y_t)$严平稳。

---

宽平稳：
各个时刻$t$，随机过程的均值和方差相等，即：
$\text{E}[Y_t] = \mu$，$\text{Var}[Y_t] = \sigma^2$
协方差仅决定于时间差，而与起始时间无关：
$\text{cov}(Y_t, Y_{t-j}) = \gamma_j$
相关系数：
$\rho_j = \text{corr}(Y_t, Y_{t-j}) = \frac{\text{cov}(Y_t, Y_{t-j})}{\sqrt{\text{Var}(Y_t) \text{Var}(Y_{t-j})}} = \frac{\gamma_j}{\sigma^2}$
即随机过程$Y_t$在两个间隔为$j$的时间取值时，其线性相关系数仅决定于该随机过程的方差和这两个随机变量（因为时刻给定，随机过程退化为随机变量）协方差。

---

高斯白噪声 Gaussian White Noise
$Y_t \sim \text{iid} \ N (0, \sigma^2)$

独立白噪声过程 Independent White Noise Process
$Y_t \sim \text{iid} \ (0,\sigma^2)$ or $Y_t \sim IWN(0,\sigma^2)$
$\text{E}(Y_t) = 0$且$\text{Var}(Y_t) = \sigma^2$

弱白噪声过程 Weak White Noise Process
$Y_t \sim WN(0, \sigma^2)$
和IWNP一样，但此时$\text{cov}(Y_t, Y_s) = 0 \quad \text{for} \ t \neq s$，而IWNP的$Y_t$和$Y_s$独立

---

非平稳过程
确定性趋势过程 Nonstationary Processes
$Y_t = \beta_0 + \beta_1 t + \varepsilon_t$，其中$\varepsilon_t \sim WN(0,\sigma_{\varepsilon}^2)$
$\text{E}(Y_t) = \beta_0 + \beta_1 t$与$t$有关

---

随机游走 random walk
$Y_t = Y_{t-1} + \varepsilon_t$，其中$\varepsilon_t \sim WN(0,\sigma_{\varepsilon}^2)$
$Y_0$即起始点给定，$Y_t = Y_0 + \sum \limits_{j=1}^t \varepsilon_j$
得到$\text{Var}(Y_t) = \sigma_{\varepsilon}^2 \cdot t$，依赖于$t$的取值。

---

滑动平均过程 Moving Average (MA) Processes
$Y_t = \mu + \varepsilon_t+ \theta \varepsilon_{t-1}, -\infty < \theta < \infty$，其中$\varepsilon_t \sim \text{iid} \ N(0,\sigma_{\varepsilon}^2)$
均值：$\text{E}(Y_t) = \mu$
方差：$\text{Var}(Y_t) = \sigma_{\varepsilon}^2 (1+\theta^2)$
协方差：$\text{cov}(Y_t, Y_{t-1}) = \theta \sigma_{\varepsilon}^2$
当时间差大于1时，协方差为0，即对于滑动平均过程而言，仅有时刻相差为1个单位的两个观测是有一定的线性相关关系的，而时刻差大于1单位时，两个观测是线性无关的。
相关系数：$\rho_1 = \frac{\gamma_1}{\sigma^2} = \frac{\theta}{1+\theta^2}$
故相关系数的取值和$\theta$值有关，且两个相邻时刻的观测是正线性相关还是负线性相关由$\theta$的符号给定。
相关系数的取值范围为$\left(-\frac{1}{2}, \frac{1}{2}\right)$

---

自回归模型 Autoregressive (AR) Process
均值调整形式 mean-adjusted form
$Y_t - \mu = \phi (Y_{t-1} - \mu) + \varepsilon_t, \ -1<\phi<1$
其中$\varepsilon_t \sim \text{iid} \ N(0,\sigma_{\varepsilon}^2)$

当$-1<\phi<1$时，AR(1)是自相关函数各态历经的。
均值：$\text{E[Y_t]} = \mu$
方差：$\text{Var[Y_t]} = \frac{\sigma_{\varepsilon}^2}{1-\phi^2}$
协方差：$\text{cov}(Y_t, Y_{t-j}) = \frac{\sigma_{\varepsilon}^2}{1-\phi^2} \cdot \phi^j$
相关系数：$\text{corr}(Y_t, Y_{t-j}) = \phi^j$
由于$|\phi|<1$，故随着时间差$j$的增加，两个观测的线性相关系数的绝对值是递减的，即两个观测相距的时间越远，其线性相关程度越低。

AR模型中，在时间上更接近的随机变量比在时间上更遥远的随机变量更加（线性）相关，即：
$|(\text{corr}(Y_t, Y_{t-1})| > |(\text{corr}(Y_t, Y_{t-2})|$

回归模型形式 regression model form
$Y_t = c + Y_{t-1} + \varepsilon_t$

---

---

遍历性 = 各态历经性
各态历经的直观解释是：平稳随机过程的每一个样本轨迹几乎必须经历它所具有的各种状态。
各态历经分为均值各态历经和相关函数各态历经。

对于一个随机过程$f(X,t)$，每一次观测都是基于某个特定的时间$t_0$时，事件$X$的取值。即对于一个随机过程的取值，首先确定时间$t_0$得到$f(X,t_0)$，然后根据事件$X$（随机变量）的取值$x_0$（确定的数值）得到随机过程的取值$f(x_0,t_0)$.
随机过程的时间平均：对于随机过程$f(X,t)$，在每一个时刻$t_0$时，都可以看成是一个随机变量，时间平均即是在该时刻下的随机变量的期望值（即在概率上求平均）。