时间序列分析基础：采样与指数加权移动平均

最新推荐文章于 2024-08-15 07:47:46 发布

HUSTのstupid bot

最新推荐文章于 2024-08-15 07:47:46 发布

阅读量1.7k

点赞数 19

文章标签：机器学习 python numpy 时序数据库微信公众平台均值算法

本文链接：https://blog.csdn.net/HUSTGO/article/details/140352892

版权

时间序列分析在各个领域中都有着广泛的应用，从金融市场的股票价格预测到气象数据的变化趋势分析，时间序列数据无处不在。处理和分析这些数据的方法有很多，其中上采样、下采样以及指数加权移动平均（EWMA）是常用的技术。上采样和下采样用于调整数据的时间分辨率，而EWMA则用于平滑数据，去除噪声，提高信号的质量。这些方法在时间序列分析中具有重要的地位，因为它们帮助我们更好地理解和解释数据的内在规律，为预测和决策提供了可靠的依据。

一、上采样与下采样

上采样（Upsampling）、下采样（Downsampling）是时间序列数据处理中常见的操作。以下演示了如何对时间序列数据进行上采样和下采样。

1. 上采样

假设有一个表示每日温度的时间序列数据，将其上采样到小时数据并进行线性插值。

import pandas as pd

# 创建原始时间序列数据
date_range = pd.date_range(start='2024-01-01', periods=3, freq='D')
temperature = [10, 12, 11]
daily_data = pd.Series(temperature, index=date_range)

# 上采样到小时数据并进行线性插值
hourly_data = daily_data.resample('H').interpolate(method='linear')

print(hourly_data.head(24))  # 打印前24小时的数据
print(hourly_data)

结果展示了每日温度数据被上采样到小时数据，并通过线性插值平滑过渡。

2. 下采样

生成一周的每分钟温度数据，并希望将其下采样到每小时数据，并计算每小时的平均值。

import numpy as np

# 增加数据规模，创建一周的每分钟温度数据
date_range = pd.date_range(start='2024-01-01', periods=7*24*60, freq='T')

# 模拟温度数据，使用正弦函数模拟日夜温度变化，并引入随机波动
np.random.seed(0)
temperature = 15 + 10 * np.sin(np.linspace(0, 7*2*np.pi, len(date_range))) + np.random.normal(0, 2, len(date_range))
minute_data = pd.Series(temperature, index=date_range)

# 下采样到每小时数据并计算平均值
hourly_data = minute_data.resample('H').mean()

print(hourly_data.head(48))  # 打印前48小时的数据
print(hourly_data)

通过下采样，将每分钟的温度数据转换为每小时的平均温度，简化了数据的时间分辨率。

二、指数加权移动平均（EWMA）

指数加权移动平均（EWMA）是一种对时间序列数据进行平滑的技术，可以有效地减少数据中的噪声。以下代码演示了如何对时间序列数据应用EWMA，并比较不同平滑系数（α）的效果。

1. 数据准备与翻转

首先准备并翻转原始时间序列数据，原始数据来源于某公众号从7月10日到6月25日的每日阅读量，需要先进行翻转。

import pandas as pd
import matplotlib.pyplot as plt

# 原始时间序列数据
data = [316, 385, 375, 303, 172, 267, 214, 353, 318, 418, 355, 158, 215, 346, 346, 311]

# 翻转时间序列数据
data_reversed = list(reversed(data))

# 打印翻转后的数据
print("翻转后的数据：")
print(data_reversed)

# 将数据转换为Pandas Series
series = pd.Series(data_reversed)

翻转后的数据：
[311, 346, 346, 215, 158, 355, 418, 318, 353, 214, 267, 172, 303, 375, 385, 316]

2. 应用EWMA

使用不同的α值（0.5、0.7、0.9）进行EWMA平滑。

# 使用不同的α值进行EWMA平滑
alpha_values = [0.5, 0.7, 0.9]
ewma_results = {}

for alpha in alpha_values:
    ewma_results[alpha] = series.ewm(alpha=alpha, adjust=False).mean()

# 打印EWMA结果
for alpha in alpha_values:
    print(f"\nEWMA (α={alpha})：")
    print(ewma_results[alpha])

平滑后的结果（以α=0.7为例）：

EWMA (α=0.7)：
0 311.000000
1 335.500000
2 342.850000
3 253.355000
4 186.606500
5 304.481950
6 383.944585
7 337.783376
8 348.435013
9 254.330504
10 263.199151
11 199.359745
12 271.907924
13 344.072377
14 372.721713
15 333.016514
dtype: float64

3. 绘制对比图

分别绘制原始数据与不同α值的EWMA平滑结果的对比图：

# 绘制三张图，每张图分别对比原始数据和不同α值的EWMA平滑结果
for alpha in alpha_values:
    plt.figure(figsize=(12, 6))
    plt.plot(series, label='Reversed Original Data', marker='o')
    plt.plot(ewma_results[alpha], label=f'EWMA (α={alpha})', marker='o')
    plt.title(f'Reversed Original Data vs. EWMA (α={alpha})')
    plt.xlabel('Time')
    plt.ylabel('Value')
    plt.legend()
    plt.grid(True)
    plt.show()

4. 计算均值和方差

最后，计算并打印原始数据及三组EWMA平滑数据的均值和方差：

# 计算四组数据的均值和方差
original_mean = series.mean()
original_variance = series.var()

print(f"原始数据的均值: {original_mean}")
print(f"原始数据的方差: {original_variance}")

for alpha in alpha_values:
    ewma_mean = ewma_results[alpha].mean()
    ewma_variance = ewma_results[alpha].var()
    print(f"EWMA (α={alpha}) 数据的均值: {ewma_mean}")
    print(f"EWMA (α={alpha}) 数据的方差: {ewma_variance}")


'''
原始数据的均值: 303.25
原始数据的方差: 5975.933333333333
EWMA (α=0.5) 数据的均值: 301.81445121765137
EWMA (α=0.5) 数据的方差: 1903.3777078919695
EWMA (α=0.7) 数据的均值: 302.66027194810897
EWMA (α=0.7) 数据的方差: 3443.789327164958
EWMA (α=0.9) 数据的均值: 303.1686402038764
EWMA (α=0.9) 数据的方差: 5104.376983824435
'''

容易发现，alpha值越小，平滑程度越大，方差越小。

总结：

上采样：将每日温度数据上采样到小时数据，通过线性插值平滑过渡，适用于需要更高时间分辨率的数据分析。
下采样：将每分钟的温度数据下采样到每小时数据，并计算平均值，适用于降低数据的时间分辨率，以简化分析。
EWMA：不同的α值对平滑结果有不同的影响。α值越大，平滑效果越弱，数据变化响应越快，但对噪声的抑制效果较差；α值越小，平滑效果越强，数据变化响应较慢，但对噪声的抑制效果较好。

在时间序列分析中，上采样、下采样和指数加权移动平均（EWMA）等技术起到了至关重要的作用。上采样可以提高数据的时间分辨率，使我们能够捕捉到更细微的变化；下采样则有助于简化数据，减少计算量，便于宏观趋势的分析；而EWMA通过平滑处理，有效地去除了数据中的噪声，保留了重要的趋势信息。通过这些技术，我们不仅能够更好地处理和分析时间序列数据，还能提高预测的准确性和决策的科学性。因此，掌握和应用这些方法对于从事时间序列分析的研究人员和实践者来说，是一项非常重要的技能。