python对acf、pacf复现

最新推荐文章于 2024-08-27 08:45:00 发布
最新推荐文章于 2024-08-27 08:45:00 发布
阅读量7.8k 收藏 93
点赞数 16
分类专栏： 时间序列 python 文章标签： python 时间序列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuanzhoulvpi/article/details/120575017
版权

介绍

代码、数据全部免费，都放在我的gitee仓库里面https://gitee.com/yuanzhoulvpi/time_series，想要使用的可以直接到我这个仓库下载。本文对应的jupyter notebook链接为：点击文章最后的【阅读原文】

本文是继python与时间序列(开篇)的第二篇，详细介绍了时间序列的两个重要的相关性系数：acf和pacf，本文将围绕着acf、pacf怎么算、怎么画来具体展开。

这也是你见到的第一篇详细介绍如何用python复现acf、pacf～

本文内容比较多【粗略统计：所有文本接近8000字；代码超过300行】。

图片

具体的jupyter notebook结构如下：

  1. 时间序列中最基本的概念；

  2. 什么叫lag（滞后）；

  3. 时间序列的公式；

  4. 统计基础知识；

  5. 自相关系数（公式、复现、调包、可视化）；

  6. 偏自相关系数（公式、复现、调包、可视化）；

1.时间序列中最基本的概念

很多人看不懂时间序列的公式、很多人看不懂时间序列的数据、代码、数学函数。本文就是将数据、公式、代码、数学函数串联起来，让你不仅仅了解抽象的数学公式，也能将抽象的内容联系到具体的数据和python代码中，并且也不只是单纯的调用python包，而是自己手写算法。

下面的代码是近20年城镇就业人员数据(万人)，数据来自中国统计局。

import numpy as np
import pandas as pd
import datetime
import matplotlib.pyplot as plt

data = pd.read_csv("../datasets/近20年城镇就业人员数据(万人).csv", index_col=['year'])
data.head(4)

图片

# 可视化
fig, ax = plt.subplots(figsize=(10, 4))
ax.plot(data.index, data['value'], 'o-')
ax.set_title(u"Data on urban employees in the past 20 years")
ax.set_ylabel("Ten thousand people")
ax.set_xlabel("year")
ax.set_xticks(data.index)
ax.set_xticklabels(data.index, rotation=45)

图片

2.什么叫lag（滞后）

经常在时间序列里面可以看到lag这个东西，大白话就是叫滞后；举个例子来说：

  1. lag1代表滞后数据1项，也就是2002年的数据滞后1年得到的就是2001年的数据；2003年的数据滞后1年就是2002年的数据；

  2. lag2代表滞后数据2项，也就是2003年的数据滞后2年得到2001年的数据；2004年的数据滞后2年就是2002年的数据；

  3. 依次类推，滞后数据就是这么计算的。

下面使用python对上面的【近20年城镇就业人员数据(万人)】数据做个滞后处理。

# 使用pandas的shift可以做lag
data1 = data.copy()
# data1['value_lag1'] = data1['value'].shift(1)
# data1['value_lag2'] =  data1['value'].shift(2)
for i in [1, 2, 3, 4, 5]:
    data1[f"value_lag{i}"] = data1['value'].shift(i)
data1.head(10)

图片

数据解读：

  1. 因为2001年之前是没有数据了，所以2001年滞后一项得到的数据是空数据；

  2. 因为2002年之前是没有数据，所以2002年滞后两项也是没有数据的。

  3. 依次类推。

3.时间序列的公式

经常看到时间序列的公式写的乱七八糟的，这是一堆公式，那是一堆公式，活活把人绕晕。现在为了我们说明需要，我们定义几个简单的公式：

假设我们的时间序列是value = [4,3,2,10,3]。我们把这个时间序列定义为 ；那么这个时间序列里面每一个元素对应的符号依次是：、、等。

如果做了lag1，得到的时间序列为value lag1=[nan, 4,3,2,10]，记这个新的时间序列为。

如果做了lag2，得到的时间序列为value lag2=[nan,nan, 4,3,2]，记这个新的时间序列为。

以此类推，就是一个简单的时间序列公式了。

4.统计基础知识

  1. 均值:

  2. 方差：

  3. 协方差：

  4. 相关系数:

5.自相关系数

5.1自相关基础计算

在了解上面的【统计基础知识】后，再理解自相关性基本上就不难了，自相关是变量与自身在不同时间滞后下的相关性。对于延迟阶的时间序列。自协方差为，自相关性系数为

5.2调用包计算acf数值

# 使用statsmodels包的acf函数
from statsmodels.tsa.stattools import acf

5.3自己根据公式写函数

def cal_acf(x, nlags):
    """
    按照公式自己写个acf函数
    只是用来帮助理解，不建议用在别的环境中
    """
    x = np.array(x)
    mean_x = np.mean(x)
    length_x = x.shape[0]
    c_0 = np.mean((x-mean_x) **2)
    c_k = np.sum((x[:(length_x-nlags)] - mean_x) * (x[nlags:] - mean_x)) / length_x
    r_k = c_k / c_0
    return r_k

5.4两种结果对比

# 结果汇总
pd.DataFrame({'index':np.arange(11),
             'value_by_myself':[cal_acf(x=data['value'], nlags=i) for i in range(11)],
             'value_by_statsmodels':acf(data.value,nlags=10)})

结果如下：

图片

5.5自相关系数画图

画图有两种方法：

  1. 直接使用statsmodels的plot_acf;

  2. 使用acf函数来计算得到数值，得到数值后再进行可视化，这种一般便于自己定制，也方便自己做更多的细节调整之类的。

# 自己画一个
# 自己计算
acf_value, acf_interval, _, _ = acf(data.value,nlags=14,qstat=True,alpha=0.05, fft=False)

xlabel = np.arange(start=0, stop=acf_value.shape[0], dtype='float')

fig, ax = plt.subplots(nrows=2, figsize=(10,6), sharex=True, dpi=100)
ax[0].hlines(y=0, xmin=np.min(xlabel)-2, xmax=np.max(xlabel)+2, colors='red', linewidth=0.5)
ax[0].scatter(x=xlabel, y=acf_value, c='red')
ax[0].vlines(x = xlabel, ymin=0, ymax=acf_value, colors='red', linewidth=0.5)
xlabel[1] -= 0.5
xlabel[-1] += 0.5
ax[0].fill_between(x=xlabel[1:], y1=acf_interval[1:,0] - acf_value[1:], y2=acf_interval[1:, 1]-acf_value[1:], alpha=0.25, linewidth=0, color='red')
ax[0].set_title("acf plot by myself")


# 使用别人写好的函数

from statsmodels.graphics.tsaplots import plot_acf
plot_acf(data['value'], ax=ax[1])
ax[1].set_title("acf plot by statsmodels")
ax[1].set_xlim(-1, np.max(xlabel)+1)

图片

6.偏自相关系数

偏自相关系数可以被看成一种条件相关，两个变量之间有相关性是基于一系列的其他的条件变量。想象一个这样的问题：

我们有一个Y变量，这个Y变量和、相关，还有一个变量。那我要知道和是否相关应该怎么计算？

肯定是应该要剔除掉、对、对的影响。那么计算和的相关性就是为：

那么对于一个时间序列来说， 和之间的偏自相关系数：就是基于 、、、…… 对 和的影响，计算 和之间相关系数。

6.1偏自相关计算公式：

  1. 当h=1的时候，我们考虑的就是 和之间的偏自相关系数,这个时候中间是没有别的条件序列的，所以偏自相关系数就是等于自相关系数。

  2. 当h=2的时候，我们考虑的就是 和之间的偏自相关系数，这个时候中间的条件序列就是，所以偏自相关系数就是为:

.

  1. 当h=3的时候，我们考虑的就是 和之间的偏自相关系数，这个时候中间的条件序列就是、，所以偏自相关系数就是为:

.

  1. 依次类推。

6.2偏自相关计算：

  1. 使用statsmodels的pacf函数，这个函数可以选择不同的计算方法，有使用ols方法的，也有使用Yule-Walker方法的。

  2. 除了方法1调用包，我们还可以使用公式方法，分别使用ols方法、使用Yule-Walker方法来计算pacf的系数。实际上算出来的结果和statsmodels的pacf函数算出来的结果是一模一样的。

在下面的代码块中，我们使用statsmodels包里面的pacf、pacf_ols、pacf_yw函数计算偏自相关系数，另外我们自己通过ols理论和Yule-Walker理论计算偏自相关系数。

# 使用statsmodels包的pacf函数
from statsmodels.tsa.stattools import pacf,pacf_ols,pacf_yw


# 自己实现用ols求解pacf的函数
from numpy.dual import lstsq
from statsmodels.tools import add_constant
from statsmodels.tsa.tsatools import lagmat

def cal_my_pacf_ols(x, nlags=5):
    """
    自己实现pacf，原理使用的就是ols(最小二乘法)
    :param x:
    :param nlags:
    :return:
    """
    pacf = np.empty(nlags+1) * 0
    pacf[0] = 1.0

    xlags, x0 = lagmat(x, nlags, original="sep")
    xlags = add_constant(xlags)

    for k in range(1, nlags+1):
        params = lstsq(xlags[k:, :(k+1)], x0[k:], rcond=None)[0]
        pacf[k] = params[-1]

    return pacf




def cal_my_yule_walker(x, nlags=5):
    """
    自己实现yule_walker理论
    :param x:
    :param nlags:
    :return:
    """
    x = np.array(x, dtype=np.float64)
    x -= x.mean()
    n = x.shape[0]

    r = np.zeros(shape=nlags+1, dtype=np.float64)
    r[0] = (x ** 2).sum()/n

    for k in range(1, nlags+1):
        r[k] = (x[0:-k] * x[k:]).sum() / (n-k*1)

    from scipy.linalg import toeplitz
    R = toeplitz(c=r[:-1])
    result = np.linalg.solve(R, r[1:])
    return result

def cal_my_pacf_yw(x, nlags=5):
    """
    自己通过yule_walker方法求出pacf的值
    :param x:
    :param nlags:
    :return:
    """
    pacf = np.empty(nlags+1) * 0
    pacf[0] = 1.0
    for k in range(1, nlags+1):
        pacf[k] = cal_my_yule_walker(x,nlags=k)[-1]

    return pacf

cal_my_pacf_yw(x=data.values)

# 结果比较

pd.DataFrame({'pacf':pacf(data.value,nlags=5, method='ols'),
              'pacf_ols':pacf_ols(data.value,nlags=5),
              'pacf_yw':pacf_yw(data.value,nlags=5),
              'pacf_ols_bymyself':cal_my_pacf_ols(x=data.values),
              'pacf_yw_bymyself':cal_my_pacf_yw(x=data.values)})

效果对比：

图片

6.3偏自相关系数画图

画图有两种方法：

  1. 直接使用statsmodels的plot_pacf;

  2. 使用pacf函数来计算数据，得到数据后再进行可视化，这种一般便于自己定制，也方便自己做更多的细节调整之类的。

#%%
sunspotarea = pd.read_csv("../datasets/sunspotarea.csv",parse_dates=['date'])


# 自己画一个
# 自己计算
pacf_value, pacf_interval = pacf(sunspotarea.value,nlags=15,alpha=0.05)

xlabel = np.arange(start=0, stop=pacf_value.shape[0], dtype='float')

fig, ax = plt.subplots(nrows=2, figsize=(10,6), sharex=True, dpi=100)
ax[0].hlines(y=0, xmin=np.min(xlabel)-2, xmax=np.max(xlabel)+2, colors='red', linewidth=0.5)
ax[0].scatter(x=xlabel, y=pacf_value, c='red')
ax[0].vlines(x = xlabel, ymin=0, ymax=pacf_value, colors='red', linewidth=0.5)
xlabel[1] -= 0.5
xlabel[-1] += 0.5
ax[0].fill_between(x=xlabel[1:], y1=pacf_interval[1:,0] - pacf_value[1:], y2=pacf_interval[1:, 1]-pacf_value[1:], alpha=0.25, linewidth=0, color='red')
ax[0].set_title("pacf plot by myself")


# 使用别人写好的函数


from statsmodels.graphics.tsaplots import plot_pacf
plot_pacf(sunspotarea.value, ax=ax[1], lags=15)
ax[1].set_title("pacf plot by statsmodels")
ax[1].set_xlim(-1, np.max(xlabel)+1)

图片

写到后面

  1. 本文主要强调的是如何手写代码复现acf和pacf计算以及可视化。个人建议多多看看Yule-Walker方法计算pacf的代码。

  2. 后续会出一个教程，介绍Yule-Walker方程的意义、复现、代码等。

  3. 这期之所以会隔这么多天，是在计算pacf的时候，卡住了。后来看了很多资料，终于搞懂了原理和复现出代码。

  4. 祝大家国庆快乐～

阅读更多

python与时间序列（开篇）

python与时间序列-基本案例教程1(1.47万字,19个图,阅读需要37分钟)

yuanzhoulvpi
关注
专栏目录
python 自相关序列(ACF)
kirsten111111的博客
12-12 2290
设置y轴方向的最大、最小值，修改默认整个y轴的区域设置，指定在y轴的区间，ymin=0.25,ymax=0.5,则y轴方向下边界为：y轴方向最小值+y轴区间长度* ymin,即− 1 + ( 1 − ( − 1 ) ) ∗ 0.25 = − 0.5 -1+(1-(-1))*0.25=-0.5−1+(1−(−1))∗0.25=−0.5,同理可得y轴方向上边界值。参数scale(float)：正态分布的标准差，对应分布的宽度，scale越大，正态分布的曲线越矮胖，scale越小，曲线越高瘦。
PACF与时间序列的自相关性分析及Python实现
CyberLynxO的博客
09-03 509
通过计算和绘制PACF图，我们可以确定时间序列中的滞后阶数，并选择适当的模型。在本文中，我们使用Python中的StatsModels和Matplotlib库来计算和可视化PACF。PACF的全称是Partial AutoCorrelation Function，它衡量了给定滞后与当前序列之间的直接相关性，同时排除了其他滞后的影响。自相关函数（ACF）和偏自相关函数（PACF）是时间序列分析中常用的工具，用于探索序列中滞后与当前观测值之间的相关性。根据图形的形状和显著性，我们可以确定适当的滞后阶数。
python实现时间序列自相关图(acf)、偏自相关图(pacf)教程
09-16
主要介绍了python实现时间序列自相关图(acf)、偏自相关图(pacf)教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
用Python实现时间序列模型实战——Day 2: 时间序列的基本统计量
qq_41698317的博客
08-27 1534
通过这些分析和可视化，我们对时间序列的基本统计量有了深入的理解，这为后续的时间序列建模和预测打下了基础。在未来的学习中，我们将利用这些统计工具来构建和评估更复杂的时间序列模型。库对时间序列数据进行 ACF 和 PACF 的计算及可视化，并进行平稳性检验。
Python绘制时序图，ACF和PACF图
北山啦的博客
06-03 3万+
在时序分析众多模型中，最为基础也是最为重要的有AR§模型，MA(q)模型，以及两者的结合ARMA(p,q)模型，同时考虑ARMA模型的平稳性，若有一个或多个根落于单位圆上，则此时的ARMA模型称作自回归单整移动平均过程，ARIMA(p,d,q)模型。 这里介绍Python绘制ACF和PACF图，进行模型定阶 导入模块 import sys import os import pandas as pd import matplotlib.pylab as plt %matplotlib inline im.
python 计量经济包_计量经济与时间序列_ACF与PACF算法解析(Python,TB(交易开拓者))...
weixin_39946266的博客
12-06 921
1 在时间序列中ACF图和PACF图是非常重要的两个概念，如果运用时间序列做建模、交易或者预测的话。这两个概念是必须的。2 ACF和PACF分别为：自相关函数(系数)和偏自相关函数(系数)。3 在许多软件中比如Eviews分析软件可以调出某一个序列的ACF图和PACF图，如下：3.1 有时候这张图是横躺着的，不过这个不重要，反正一侧为小于0的负值范围，一侧为大于0的正值范围，均值(...
python ACF PACF
09-10
在 Python 中，你可以使用 statsmodels 模块来计算 ACF 和 PACF。以下是一个示例代码： ```python import pandas as pd import statsmodels.api as sm from statsmodels.graphics.tsaplots import plot_acf, plot_...
时间序列AR模型ACF PACF代码
最新发布
09-06
时间序列AR模型 ACF PACF python代码 期末 课程设计
Python绘制ACF和PACF图
05-27
好的，下面是Python绘制ACF和PACF图的代码示例： ```python import pandas as pd import numpy as np import matplotlib.pyplot as plt from statsmodels.graphics.tsaplots import plot_acf, plot_pacf # 读取...
python绘制acf和pacf图像
06-28
Python可以使用statsmodels库绘制ACF和PACF图像。以下是一个简单的示例代码： ```python import pandas as pd import numpy as np import matplotlib.pyplot as plt from statsmodels.graphics.tsaplots import ...
时间序列_python自相关系数（ACF）绘图
大道至简
04-11 1万+
一、概述 自相关函数，用来度量同一事件在不同时期之间的相关程度，或者说是一个信号经过类似于反射、折射等其它情况的延时后的副本信号与原信号的相似程度。 R(τ)=E[(Xt−μ)(Xt−τ−μ)]σ2 R(\tau) = \frac{E[(X_t - \mu)(X_{t-\tau} - \mu)]}{\sigma ^ 2} R(τ)=σ2E[(Xt​−μ)(Xt−τ​−μ)]​ 简单讲就是比较不同时间延迟两个序列的相似程度，就好比下图蓝色框内序列和红色框内序列之间的相关性。 二、python实现&s
使用Python的statsmodels包中的tsa.acf函数计算时间序列数据的自相关性是非常简单的。该函数将返回时间序列中所有滞后位置（级别）的自相关性值。
2301_78484069的博客
06-11 1101
总结一下，使用Python的statsmodels包中的tsa.acf函数计算时间序列数据所有滞后位置个数（级别）的自相关性非常简单。接下来，我们可以使用tsa.acf函数来计算时间序列数据的自相关性。以下代码演示了如何计算航空公司乘客数量时间序列数据的自相关性，并通过绘制自相关系数对时间序列数据进行可视化。使用Python的statsmodels包中的tsa.acf函数计算时间序列数据的自相关性是非常简单的。我们可以看到，自相关性在滞后1-2个级别时很高，并随着级别的增加而逐渐减少。
用python实现时间序列自相关图(acf)、偏自相关图（pacf)
热门推荐
qq_43315928的博客
08-30 4万+
自相关图是一个平面二维坐标悬垂线图。横坐标表示延迟阶数，纵坐标表示自相关系数 偏自相关图跟自相关图类似， 横坐标表示延迟阶数，纵坐标表示偏自相关系数 自相关图与偏自相关图的python代码实现： from statsmodels.graphics.tsaplots import plot_acf, plot_pacf plot_acf(b.salesVolume) plot_pacf(b.s...
ACF自相关函数和PACF偏自相关函数（转载）
井底小蛙的博客
02-18 823
自相关函数 (ACF) - Minitab 解释偏自相关函数 (PACF) - Minitab
第二章平稳时间序列模型——ACF和PACF和样本ACF/PACF
weixin_30335353的博客
04-19 1万+
自相关函数/自相关曲线ACF AR(1)模型的ACF： 模型为： 当其满足平稳的必要条件|a1|<1时（所以说，自相关系数是在平稳条件下求得的）： y(t)和y(t-s)的方差是有限常数，y(t)和y(t-s)的协方差伽马s 除以伽马0，可求得ACF如下： 由于{rhoi}其在平稳条...
理解时间序列的ACF与PACF
芳樽里的歌的博客
09-22 2万+
理解ACF与PACF并在此基础上合理地建立ARIMA模型
时间序列-相关性-ACF PACF CCF
try_trying_try的博客
05-17 3390
①当时间间隔为0的时候，相关系数为1，很显然，每个点和自己都是完全相关的。当时间间隔大于1，相关系数便只是在0附近波动，说明不同时间点的单日收益相关性不大。当序列为高阶时，存在滞后相关性，于是可以使用更适用的ADF检验。不过大致上，我们可以认为沪深300的单日收益和其它交易日关联度不大。描述了一个观测值和另一个观测值之间的自相关，包括直接和间接的相关性信息。图中有个别间隔的序列相关系数超过置信区间，说明子序列还。时间轴上的曲线图，是给定时间段以及每个时间点的随机变量得到。If波动，波动幅度也是固定的。
计量经济与时间序列_ACF自相关与PACF偏自相关算法解析(Python,TB(交易开拓者))
weixin_30622107的博客
02-17 5544
1 在时间序列中ACF图和PACF图是非常重要的两个概念，如果运用时间序列做建模、交易或者预测的话。这两个概念是必须的。 2 ACF和PACF分别为：自相关函数(系数)和偏自相关函数(系数)。 3 在许多软件中比如Eviews分析软件可以调出某一个序列的ACF图和PACF图，如下： 　　 　　3.1 有时候这张图是横躺着的，不过这个不重要，反正一侧为小于0的负值范...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yuanzhoulvpi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值