datawhale ai 夏令营学习笔记第三期 --深度学习在时间序列预测中的应用

学习笔记：深度学习在时间序列预测中的应用

特征工程与分析

在时间序列预测中，特征工程是核心环节，它包括以下关键步骤：

1. 日期变量：将日期转换为数值特征，如年、月、日、小时等。
2. 周期性：识别并利用数据中的周期性，如一天中的小时数、一周中的天数。
3. 趋势性：提取数据的趋势性特征，通过移动平均或线性回归。
4. 距离某天的时间差：计算数据点与特定事件日期之间的距离。
5. 时间特征组合：组合不同时间单位，如年和周，提供丰富的上下文信息。
6. 特殊日期：标记节假日、促销活动等特殊事件。
7. 异常点检测：识别并处理数据中的异常值。
8. 时序相关特征：使用历史平移、滑窗统计和强相关特征构建预测模型。

特征优化示例代码

# 合并训练数据和测试数据
data = pd.concat([train, test], axis=0).reset_index(drop=True)
data = data.sort_values(['id','dt'], ascending=False).reset_index(drop=True)

# 历史平移
for i in range(10,36):
    data[f'target_shift{i}'] = data.groupby('id')['target'].shift(i)

# 历史平移 + 差分特征
for i in range(1,4):
    data[f'target_shift10_diff{i}'] = data.groupby('id')['target_shift10'].diff(i)

# 窗口统计
for win in [15,30,50,70]:
    data[f'target_win{win}_mean'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').mean().values
    data[f'target_win{win}_max'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').max().values
    data[f'target_win{win}_min'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').min().values
    data[f'target_win{win}_std'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').std().values

# 历史平移 + 窗口统计
for win in [7,14,28,35,50,70]:
    data[f'target_shift10_win{win}_mean'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').mean().values
    data[f'target_shift10_win{win}_max'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').max().values
    data[f'target_shift10_win{win}_min'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').min().values
    data[f'target_shift10_win{win}_sum'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').sum().values
    data[f'target_shift10_win{win}_std'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').std().values

构建和训练LSTM模型

# 数据预处理函数
def preprocess_data(df, look_back=100):
    # ... (预处理逻辑省略)
    return X, Y, OOT

# 构建模型函数
def build_model(look_back, n_features, n_output):
    model = Sequential()
    model.add(LSTM(50, input_shape=(look_back, n_features)))
    model.add(RepeatVector(n_output))
    model.add(LSTM(50, return_sequences=True))
    model.add(TimeDistributed(Dense(1)))
    model.compile(loss='mean_squared_error', optimizer=Adam(0.001))
    return model

# 预处理数据
X, Y, OOT = preprocess_data(train, look_back=look_back)

# 构建模型
model = build_model(look_back, n_features, n_output)

# 训练模型
model.fit(X, Y, epochs=10, batch_size=64, verbose=1)

# 进行预测
predicted_values = model.predict(OOT)

优化方案

• 提取更多特征。
• 尝试不同的模型。
• 特征优化，包括历史平移特征、差分特征和窗口统计特征。
• 模型融合，使用多个模型的预测结果进行集成学习。