python 最优解 ma_AR(I)MA时间序列建模过程——步骤和python代码

1.异常值和缺失值的处理

这绝对是数据分析时让所有人都头疼的问题。异常和缺失值会破坏数据的分布，并且干扰分析的结果，怎么处理它们是一门大学问，而我根本还没入门。

(1)异常值

https://ocefpaf.github.io/python4oceanographers/blog/2015/03/16/outlier_detection/

提供了关于如何对时间序列数据进行异常值检测的方法，作者认为移动中位数的方法最好，代码如下：

from pandas import rolling_median

threshold = 3 #指的是判定一个点为异常的阈值df['pandas'] =

rolling_median(df['u'], window=3, center=True)

.fillna(method='bfill').fillna(method='ffill')

#df['u']是原始数据，df['pandas'] 是求移动中位数后的结果，

window指的是移动平均的窗口宽度difference = np.abs(df['u'] - df['pandas'])

outlier_idx = difference > threshold

rolling_median函数详细说明参见

(2)缺失值

缺失值在DataFrame中显示为nan，它会导致ARMA无法拟合，因此一定要进行处理。

a.用序列的均值代替，这样的好处是在计算方差时候不会受影响。但是连续几个nan即使这样替代也会在差分时