![d6febd033d531d407b699f7130b87e57.png](https://i-blog.csdnimg.cn/blog_migrate/28877efe17a5c64960f626d57a16fc22.jpeg)
1 基本概念
时间序列指的是按时间顺序排列的一组数字序列,而时间序列分析就是利用这组数列,应用数理统计方法加以处理,从而来预测未来事物的发展。该分析方法属于定量预测方法,既承认事物发展的延续性,应用历史数据即可推测事物发展趋势;其次也考虑了事物发展的随机性,为此要利用统计分析中各种方法对历史数据进行处理。目前该方法常应用在国民经济宏观控制、企业经营管理、区域综合发展规划、气象预报和环境污染控制等各个方面。
1.1 随机过程
设
![6cb287f507c5f69b5dfcd48b42c69414.png](https://i-blog.csdnimg.cn/blog_migrate/49a862dff16e1fd1a82e422632b41672.jpeg)
是一列独立同分布的随机变量序列,令
![712c468de252ff023faa4e2ba081e115.png](https://i-blog.csdnimg.cn/blog_migrate/1e446f932d93b5dfe731160c63bca127.jpeg)
则随机变量序列
![e215e915c1da2264655f09ee03436363.png](https://i-blog.csdnimg.cn/blog_migrate/63339c2a58ffa82fadb9d52be5896722.jpeg)
为随机过程。
1.2 均值/协方差/方差函数
对于序列
![9a89d487196654e4406571a5833353ba.png](https://i-blog.csdnimg.cn/blog_migrate/530a30dcfb292c50e1e6b5e8ca63a688.jpeg)
而言:
- 均值函数:
![fec0a4655f73dfdfed654e7214cf2a73.png](https://i-blog.csdnimg.cn/blog_migrate/dab03521f86fa866f74ba07d405f8203.jpeg)
- 协方差函数:
![78c543e1f48d8992dbb59dc96c9d3d7d.png](https://i-blog.csdnimg.cn/blog_migrate/784fdad80c9e82bc7f97cd34f1457b20.jpeg)
- 方差函数:
![f82644ab0fffa879b386a907da465668.png](https://i-blog.csdnimg.cn/blog_migrate/cd04e893ee085c574369ee4fe6e4df9b.jpeg)
Note:
为弱平稳的描述做准备。
1.3 平稳性
平稳性:时间序列的行为不随时间改变。
Why stationary?
简化问题的假设:
- 强平稳:对于一个时间序列
![f208a9033b23aa7dee75be4c016b01d5.png](https://i-blog.csdnimg.cn/blog_migrate/1201f2814de254f6e0b8b13996e6dddd.jpeg)
与任意整数k,如果:
![b57f96fa7e0eaefe5b1b43604d02ec6f.png](https://i-blog.csdnimg.cn/blog_migrate/d44a8df90f6cced0b1fcec3dd736b962.jpeg)
与
![882ffc42d1c1e6a25b2c33a17d1d98e8.png](https://i-blog.csdnimg.cn/blog_migrate/0d72d58bb5f683ab8f3c27c46cef7b85.jpeg)
的联合分布一致,那么称该序列强平稳。
- 弱平稳:对于一个序列,若其均值函数是常熟,协方差函数仅与时间差相关,那么称该序列弱稳定。
1.4 差分方程
一阶差分方程:
一个变量在t时刻的值记录为
![de15eb4fe138a6e248d9c25ffd5b6c32.png](https://i-blog.csdnimg.cn/blog_migrate/a4672bb99d504cd0a62dc600143c0a5c.jpeg)
,t时刻和t-1时刻的值可以由以下一阶线性差分方程刻画:
![11c926e6569ffba3319788bb6a58109b.png](https://i-blog.csdnimg.cn/blog_migrate/e59c494593d95b676dee24047b094cc2.jpeg)
阶差分方程:
![5a1c2cf79b8f908bccb98f5cfa6ae385.png](https://i-blog.csdnimg.cn/blog_migrate/9b1428dd512eae5c1c61538567563e68.jpeg)
差分方程的递归解:
![ffe51a3286eb347860de2ea1da945729.png](https://i-blog.csdnimg.cn/blog_migrate/fdd847ad44855fbc8b09a9db1cb0125f.jpeg)
动态乘子:
![140c5947a2b9121b106dfad99cd12342.png](https://i-blog.csdnimg.cn/blog_migrate/2f0c1c1e55ae0f841d2c01528ec4dd22.jpeg)
Note:
描述t时刻的扰动wt对于j时刻后的影响。
phi的取值以1为界对于过程的影响(消散,放大)。
1.5 延迟算子
令B为异步延迟算子,如果当前序列乘以一个延迟算子,表示把当前序列值的时间向过去拨一个时刻。使用延迟算子表示的一阶差分方程:
![2261ca08a44d1f68c88ac76f6d80249e.png](https://i-blog.csdnimg.cn/blog_migrate/69e974acfd66bed34148e4bdd4d66b93.jpeg)
延迟算子的性质如下:
![2efa41150ffca80b3454127570c113a8.png](https://i-blog.csdnimg.cn/blog_migrate/b7ced3b99a6336577690ca59b8e36993.jpeg)
(1)
![771f4810c8f87e1916c244d773bab92e.png](https://i-blog.csdnimg.cn/blog_migrate/eb48e52e6ba89915a8b6e158a8d6eec0.jpeg)
(2)若c为任意常数,则:
![fa25b92aa2a4626378cdf11f63eae649.png](https://i-blog.csdnimg.cn/blog_migrate/1d19c5b40ce11b2eb7ab763981c8610d.jpeg)
(3)
![d881b36a566125ca3d7e16b0206f92fc.png](https://i-blog.csdnimg.cn/blog_migrate/478ce95b45cf590831c3005560e0ab4b.jpeg)
2 线性平稳时间序列
2.1 自回归过程(AR)
一阶自回归过程AR(1):
如
![cd8b27ab288ebf949072a431595cbedd.png](https://i-blog.csdnimg.cn/blog_migrate/2fc49578c1a81277f2ce7fb3ff1650e4.jpeg)
为平稳序列,且满足如下差分方程:
![10604472d0fa03ab5f6a3e6cf3a0603f.png](https://i-blog.csdnimg.cn/blog_migrate/f664c3d343bf51ec8fba868ca45822dc.jpeg)
其中系数表示对前一项的依赖程度,扰动为白噪声序列,则称
![cd8b27ab288ebf949072a431595cbedd.png](https://i-blog.csdnimg.cn/blog_migrate/2fc49578c1a81277f2ce7fb3ff1650e4.jpeg)
满足一阶自回归模型。
平稳条件:
![1698ca21634cb3a65152101d082f3e9c.png](https://i-blog.csdnimg.cn/blog_migrate/52fa95ab060c9f51688ac865dbf832f7.jpeg)
的根的绝对值小于1,即
![a08e169fc966b9ac4ba19ece709f4085.png](https://i-blog.csdnimg.cn/blog_migrate/9fca4e11bb177f797fc56c74e7b1fd47.jpeg)
Note:
这与差分方程中动态乘子的意义一致。
方差与均值:
![9bd6cac7279ed6536626007718ac057c.png](https://i-blog.csdnimg.cn/blog_migrate/12c05aac69cab16c6587032b402440cf.jpeg)
利用延迟算子,一阶自回归模型可以表示为:
![f6466661d84e1db0a204fd0c94a52e5b.png](https://i-blog.csdnimg.cn/blog_migrate/1a598977fcabcfc6fbd4a81b6b69c501.jpeg)
如果满足平稳条件,则可以表示为:
![1e8e7aac07a3ee801bd7b26ebb355983.png](https://i-blog.csdnimg.cn/blog_migrate/16e0f2966bc0a1d5298f91538ccc008c.jpeg)
Note:
类似于一个数列极限。平稳则扰动项必须收敛,否则与影响无限扩大。AR1是一个无限阶的移动平均过程。
2.2 移动平均过程
一阶移动平均过程MA(1):
![cd8b27ab288ebf949072a431595cbedd.png](https://i-blog.csdnimg.cn/blog_migrate/2fc49578c1a81277f2ce7fb3ff1650e4.jpeg)
若满足如下方程:
![5c7f62ab044489cf7be9896b0f1d8568.png](https://i-blog.csdnimg.cn/blog_migrate/3d1b29bcfdc2c2881c1e3f130abbbd51.jpeg)
其中
![a76acf2341474cfef17e105641ebfd05.png](https://i-blog.csdnimg.cn/blog_migrate/5cba773a1aac947c0c2b669ef6d3f50c.jpeg)
为常数,
![187aaf2414bec5acce203e43bfd52521.png](https://i-blog.csdnimg.cn/blog_migrate/00ec9d91bea7795e8db1c69bd40d9806.jpeg)
为移动平均系数,
![7d3fffc99b995bf4aa9003f0e17271aa.png](https://i-blog.csdnimg.cn/blog_migrate/5c75982deb9943cf3306e308828ce07b.jpeg)
为白噪声过程,则称
![cd8b27ab288ebf949072a431595cbedd.png](https://i-blog.csdnimg.cn/blog_migrate/2fc49578c1a81277f2ce7fb3ff1650e4.jpeg)
满足一阶移动平均模型。
Note:
认为序列和前一时刻的扰动有关。
MA(1)的均值与方差:
![cb5fdb1735be4178acc03d99d1eb1b13.png](https://i-blog.csdnimg.cn/blog_migrate/db531a1c3b0498e6abd4238cb533513c.jpeg)
![89205798c1d7c8cd2f5007b675a6156a.png](https://i-blog.csdnimg.cn/blog_migrate/353655c72cbf615786fcc66b51af7812.jpeg)
2.3 自回归移动平均过程
ARMA(p,q)模型的一般表达式为:
![9b737457ca2f3cf0f12052d17eeb5743.png](https://i-blog.csdnimg.cn/blog_migrate/1e950b19d203875a842b1eb41a15ebc2.jpeg)
2.4 相关系数
2.4.1 自相关系数ACF
AR(1)的自协方差与自相关系数:
![5c2c8589fdfe8bdd1b7b06162df655ea.png](https://i-blog.csdnimg.cn/blog_migrate/9b50dfc7edfb82bdd32612eb929e0971.jpeg)
![077cf3fb6e66ff8817dee6cc9d01ad3f.png](https://i-blog.csdnimg.cn/blog_migrate/51410dbf6adc1503d3ed7156a2914192.png)
Note:
这里是中心化后的序列,自协方差受幅度影响,相关系数去除幅度影响。
AR(p)的自协方差与自相关系数:
![815abdff790633e5a5f2c60f60fe277e.png](https://i-blog.csdnimg.cn/blog_migrate/77bb7dbc4e10f2c23854ba71b24fb14a.png)
(Yule-Walker方程,系数阵正定,可解回归系数)
Note:
p1=1,自己和自己的相关系数。模型定阶后可以求p阶协方差,解方程组。
MA(1)的自协方差与自相关系数:
![4325e64ad949a64545a5db838b09d74b.png](https://i-blog.csdnimg.cn/blog_migrate/972de48e348dcc63cce60d7f39c1d6ec.jpeg)
高阶自相关系数均为0。
MA(q)的自协方差与自相关系数:
![fb3296d09e4e5d9ce1eed4538651a0a0.png](https://i-blog.csdnimg.cn/blog_migrate/eceade70111458998960a9d3fb1ef461.jpeg)
解非线性方程,可得滑动平均系数。
Note:
for j>q, gamma=0,p=0,解非线性方程,可得滑动平均系数
ARMA(p,q)的自协方差与自相关系数:
![76905c39bcda2f831d380558ee5a8706.webp](https://i-blog.csdnimg.cn/blog_migrate/302b812a97c94a3ca3077f497fc19f1c.webp?x-image-process=image/format,png)
先同乘以
![34a0d8b5a1a9daa23e9a72d7a0a9e714.png](https://i-blog.csdnimg.cn/blog_migrate/854f155fdf25bd8bf7a4097fbb546053.jpeg)
,求均值得自协方差,得到Yule-Walker方程,求回归系数,然后构造:
![6764167506e9077b1b6c9ba5f27f54fd.png](https://i-blog.csdnimg.cn/blog_migrate/4cf98804ab3fd3c0546ead0fc9a043e1.jpeg)
![bbc814a30b39e0d9d6e00309b7f521fd.png](https://i-blog.csdnimg.cn/blog_migrate/412aeb2f56de06c46c3f7326cc383295.jpeg)
为MA(q)序列,按MA(q)序列计算自协方差/自相关系数,解非线性方程得滑动回归系数。
2.4.2 偏相关系数PACF
![51d48d777af15681e0c7d90222189efd.png](https://i-blog.csdnimg.cn/blog_migrate/e7e520bd52887f75f1ce129569ae38c0.jpeg)
Note:
用于定阶。
![9f168cf2e97cb443394b5cbdde9f9d4e.png](https://i-blog.csdnimg.cn/blog_migrate/e06bc732d031862dcd9db7d347d82727.jpeg)
![aecb8c537187c6b97775d2f7bfc5cf4e.png](https://i-blog.csdnimg.cn/blog_migrate/d819d5b7cf83cd71f12a0d705a96b4b6.jpeg)
3 实际应用
3.1 模型(阶数)识别
![aecb8c537187c6b97775d2f7bfc5cf4e.png](https://i-blog.csdnimg.cn/blog_migrate/d819d5b7cf83cd71f12a0d705a96b4b6.jpeg)
序列
AR(p)
MA(q)
ARMA(p,q)
ACF
拖尾
q阶截尾
拖尾
PACF
p阶截尾
拖尾
拖尾
![896797a0258d5cdc6c72d43681e4491b.png](https://i-blog.csdnimg.cn/blog_migrate/f36fdfe264e70bbf58246d5f2ccc0330.jpeg)
AIC/BIC准则:
![d30b5db78dffcbfdd52e4ed7955c46a1.png](https://i-blog.csdnimg.cn/blog_migrate/e9732ee66c7bcb8eee39de97b8f3a1e7.jpeg)
选择最大阶数
![d74e02cdd77d9c081343cc24d2ffdbe7.png](https://i-blog.csdnimg.cn/blog_migrate/0cdc2595305d6938c5adcc3b3a859bd4.jpeg)
,计算使AIC或者BIC最小的p、q,作为模型阶数。
Note:
耗时,每次要计算出模型,再计算拟合残差,MAXLAG^2次计算。
3.2 参数估计
- 矩估计
- 极大似然估计
Note:
矩估计:Yuler-Walker方程等。
极大似然估计:
以AR(1)为例:
![bc391cb0e0f771f70f624248f2a77cbd.png](https://i-blog.csdnimg.cn/blog_migrate/2628423af289c201a8000b8bdd3c8bc1.jpeg)
序列观测值:
![cd8b27ab288ebf949072a431595cbedd.png](https://i-blog.csdnimg.cn/blog_migrate/2fc49578c1a81277f2ce7fb3ff1650e4.jpeg)
,
![bed3b95eafaf41c8483b05edabc62809.png](https://i-blog.csdnimg.cn/blog_migrate/8e7eae5196b3076a42f0e7b15ff3cf0e.jpeg)
为白噪声,参数为
![12274c327898a9fcade76a1c91e6d841.png](https://i-blog.csdnimg.cn/blog_migrate/bd61c2f92bc5737997adc97b83535a2a.jpeg)
。
对于第一个样本,
![ecbc136dbd23d6073e154519914e382e.png](https://i-blog.csdnimg.cn/blog_migrate/521c019706912188fb1cd47fa5d1585c.jpeg)
,即
![2cb666c304f1a4a0158dbe1ec209ac2a.png](https://i-blog.csdnimg.cn/blog_migrate/4c9e248446d98698ba46a5171deeab8a.jpeg)
的概率分布:
![fe53167ba089c615183bc693ea6f7c28.png](https://i-blog.csdnimg.cn/blog_migrate/0cb812b37113ae75d10f78d79977f006.jpeg)
Note:
假设X1的期望与方差,与2.3中分析的一致。如果认为初始值也服从
![fab446928ff68bb10bc20b239d061398.png](https://i-blog.csdnimg.cn/blog_migrate/0407c3e268e205b5f06bfa7c69bd65c6.jpeg)
则忽略了初始值之前的影响。
考察,第二个样本
![a3d2ec9655329c1bb4fcd549a464f61b.png](https://i-blog.csdnimg.cn/blog_migrate/05598efc7dbf68a0901aa7afeb608763.jpeg)
在
![43b9bde861b5d08302db3599195a9178.png](https://i-blog.csdnimg.cn/blog_migrate/79fb2bc90402479e9d4831cab5546d10.jpeg)
已知条件下的概率分布,由于
![be428711a4736373bf4c392eabc897c3.png](https://i-blog.csdnimg.cn/blog_migrate/77555f725530226f9f2d48ea7de418b9.jpeg)
![4c42b4a99327b49170a3decf5d8101ff.png](https://i-blog.csdnimg.cn/blog_migrate/e794cf664146ba32c0fbea074b359701.jpeg)
根据贝叶斯公式,
![de5e98e9c2190d7e57839cab30ebf4b0.png](https://i-blog.csdnimg.cn/blog_migrate/a29454270af1061d188035188ebd0c80.jpeg)
的联合分布为:
![54d5a46edb6ccfefe392f8db1712b58d.png](https://i-blog.csdnimg.cn/blog_migrate/23b0a8c19355c23e14d2c5f701a015c2.jpeg)
Note:
![d6556a82e8ae3188af6cf07e00a4b319.png](https://i-blog.csdnimg.cn/blog_migrate/5bab88fe21bcac664dde59596573e82b.jpeg)
。常数
![1991a2922bc82752e01f77b422f4cd7d.png](https://i-blog.csdnimg.cn/blog_migrate/95ac5584e06a856abfb03a755e7c4ec6.jpeg)
。
在前t-1个值已知的条件下,实际上
![cd8b27ab288ebf949072a431595cbedd.png](https://i-blog.csdnimg.cn/blog_migrate/2fc49578c1a81277f2ce7fb3ff1650e4.jpeg)
仅与
![86e0e293913d0a0c3518a5627962af53.png](https://i-blog.csdnimg.cn/blog_migrate/48e1782c4613e3f2e5233f989b7b5a5d.jpeg)
有关:
![e30c6ba2d947754a2a5a4c888095a43c.png](https://i-blog.csdnimg.cn/blog_migrate/3d341bbc5d0433953b2193eb16db002c.jpeg)
则
![b5725b528bd16e2cd058a087d07c9f4a.png](https://i-blog.csdnimg.cn/blog_migrate/03374d15c8a0142ea208e3044bc7b144.jpeg)
的联合分布为:
![b0b5bfa4f79720c75e406f8a7b541618.png](https://i-blog.csdnimg.cn/blog_migrate/916e1af38fb6ef88dc1ba4ed709a7c96.jpeg)
对数似然函数为:
![18344747939d044b867e739a81017683.png](https://i-blog.csdnimg.cn/blog_migrate/cc15d16ff2917a4687bc52d06d33482f.jpeg)
Note:
求偏导数=0的点。
向量形式:
![cd74b6a34fead4d35518366f877391a2.png](https://i-blog.csdnimg.cn/blog_migrate/ac7b829875c21c25fd29cd2406a2e5fa.jpeg)
![c7789d5de475589ecfae4011ebc2957e.png](https://i-blog.csdnimg.cn/blog_migrate/f00232f295ca199c8625125b447fcb17.jpeg)
![e706a60dafc1dc9de0aea301e2e6214e.png](https://i-blog.csdnimg.cn/blog_migrate/848608a5ecc611f9fd354eef0cb7fb33.jpeg)
MA(1)的似然函数:
![60ab7d67a63b35efc7e42737d5056161.png](https://i-blog.csdnimg.cn/blog_migrate/436f561e69777948761bb10c5593bd14.jpeg)
![c3bcad48df33182dab5a878f9ce6dd86.png](https://i-blog.csdnimg.cn/blog_migrate/ab0a13fc429e7e0d8bdc870c6947bb18.jpeg)
Note:
epsilon序列可表示为
![7d30f7d4c85782c1ccf083c7ef1be96a.png](https://i-blog.csdnimg.cn/blog_migrate/dc6cc1406b01bc2f027e6884b5634a80.jpeg)
的函数,非线性函数。
向量形式:
![8b9c5f8c31e162c214c98e0aed0e1b52.png](https://i-blog.csdnimg.cn/blog_migrate/890642964597caecab174a68be2ef73d.jpeg)
![d708a9e764603d01b902dce662358b58.png](https://i-blog.csdnimg.cn/blog_migrate/63a66bb160acf91211cd7deb2feca90e.jpeg)
ARMA(p,q)的极大似然估计:
令
![0dcc96a3464af3d2c0f0a1d06ee2917d.png](https://i-blog.csdnimg.cn/blog_migrate/776e8dabde704f088520b6815e9af131.jpeg)
,似然函数为:
![815f1e1cbc549334b39058aa784fe7c0.png](https://i-blog.csdnimg.cn/blog_migrate/188ccc42ff9b9f4a969f6c1a584308ce.jpeg)
![4b948e39b67d8c10dd1f1ef2bbf20be9.png](https://i-blog.csdnimg.cn/blog_migrate/b4055d430be41288cede75cd7ae83b44.jpeg)
Note:
参数包含在epsilon序列中。
4 一个实验
data:601000.ss, from 2014-8-9 to 2017-4-20,BIC准则定阶,前300个作为训练集,ARMA(4,0)。结果:
RMSE:
0.30651974757
MAPE:
0.012358387122
![1a37129ee3637b68e0f0cb58e0558add.png](https://i-blog.csdnimg.cn/blog_migrate/7a90f576d348393f5c6dbf7ddea6deb4.jpeg)
![9d37751d13cafcc7c5e8b9195b068c06.png](https://i-blog.csdnimg.cn/blog_migrate/1cf999138d8770ca7db796e16856afba.jpeg)
![180faf0c2c27cd17b53e4f068f01e308.png](https://i-blog.csdnimg.cn/blog_migrate/70bf20a011faefe207d1106fc79c0580.jpeg)
![315c5ed09f760d50209eaa936dfe53ee.png](https://i-blog.csdnimg.cn/blog_migrate/b0946ff85fb997052f6300c5f9bb245a.jpeg)