关闭

时间序列分析之一:数据预处理

标签: 预处理时间序列异常值
7521人阅读 评论(0) 收藏 举报
分类:
   时间序列分析拾运用概率与统计的理论与方法分析随机数据序列,并建立数学模型、定阶和参数估计的学科,它主要应用在预测、控制、滤波、金融(如股票价格)等方面。
    我们常见的时间序列模型是状态平稳、正态分布、独立噪声(白噪声)、无趋势的。为了保证模型的精确性,需要对数据进行平稳、正态、独立、趋势的检验,在通过检验的前提下才可进行后续处理,如果不满足上述条件,还需进行预处理,使其平稳、正态、独立、无趋势。另一方面由于数据的不确定性,需要去除虚假数据(偏差太大)和填补数据等处理。
    (1)平稳性检验
        平稳是说系统参数不随时间变化,包括:均值、方差是否为常数,自相关函数是否只于时间间隔有关。可采用参数检验法(分组,组间差异不应太大)和非参数检验法(游程检验,游程应适中,即样本数据出现的顺序没有趋势)进行检验。
    (2)正态性检验
        模型噪声需要是高斯白噪声。可采用P-P图和Q-Q图直观上进行判断,也可以采用卡方拟合优度检验正态性(落入各组的频数与理想期望接近)。
    (3)独立性检验
        独立的白噪声序列的自相关系数是冲激函数,则序列的自相关系数需接近冲激函数才能认为是独立的。
    (4)周期性检验
        分析序列中的周期性或准周期序列(如季节、星期等)。由于【a】周期序列的功率谱会产生尖峰,【b】自相关系数是连续振荡波形,【c】数据的概率密度直方图是下凸,非周期是上凸。可通过直观比较得到周期性的定性结果。
    (5)趋势项检验
        趋势其实就是非平稳,包括均值、方差等的趋势。对均值或方差的趋势检验可以采用分组计算,再结合游程检验的思路进行。如果有趋势,则需要先提取趋势项再去掉趋势项。对趋势项可以采取滤波器消除,而对于多项式趋势可以采用最小二乘法提取。对缓慢变化趋势可采用数据时间窗和最小二乘平滑进行处理。
    (6)异常值去除
        数据采集过程中可能产生虚假数据,需对奇异数据进行检测和剔除。可采用人工剔除的方式,也可用线性外推的方式剔除异常点。

参考:
【1】时间序列分析简明教程,张树京 
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:27441次
    • 积分:374
    • 等级:
    • 排名:千里之外
    • 原创:10篇
    • 转载:3篇
    • 译文:0篇
    • 评论:0条
    最新评论