AI预测-多任务学习-模型融合策略

AI预测相关目录

AI预测流程，包括ETL、算法策略、算法模型、模型评估、可视化等相关内容
最好有基础的python算法预测经验

1. EEMD策略及踩坑
2. VMD-CNN-LSTM时序预测
3. 对双向LSTM等模型添加自注意力机制
4. K折叠交叉验证
5. optuna超参数优化框架
6. 多任务学习-模型融合测略

---

---

一、模型融合

模型融合是自创概念，实际上是对多任务学习一直情况的描述性称呼。
多任务学习的核心思想是通过共享模型参数来学习多个相关任务。 传统的单任务学习方法通常是为每个任务训练一个独立的模型，而多任务学习则将多个任务的数据合并到一个模型中，共享一部分或全部的模型参数。 这样一来，不同任务之间可以通过共享的参数相互影响，从而提高整体性能。 在多任务学习中，模型的架构通常分为两个部分：共享层和任务特定层。 共享层是多个任务共享的部分，用于学习共同的特征表示。 而任务特定层则是每个任务独自的部分，用于学习任务特定的特征和输出。 通过共享层和任务特定层的结合，模型可以同时学习多个任务，并在任务之间共享和传递知识。

---

二、模型介绍

本次分享模型结构大体如下：

该模型对一个预测任务进行设计，该任务有taska taskb两类子任务，其任务之间存在互相影响的同时又具有一定的区分度。

---

三、代码示例

# （输入1） CNN部分 输入time数据
n_timesteps, n_features = trainX1.shape[1],trainX1.shape[2]
inputs1 = Input(shape=(n_timesteps,n_features))

lstm = LSTM(128, input_shape=(trainX1.shape[1], trainX1.shape[2]), return_sequences=True)(inputs1)
conv1 = Conv1D(filters=512, kernel_size=1, activation='relu', input_shape=(trainX1.shape[1], trainX1.shape[2]))(inputs1)
pool1 = MaxPooling1D(pool_size=2)(conv1)
#pool1 = Dropout(0.5)(pool1)
conv2 = Conv1D(filters=8, kernel_size=3, strides=1, padding='same', activation='relu')(pool1)
# conv2 = BatchNormalization()(conv2)
pool2 = MaxPooling1D(pool_size=2)(conv2)
pool3 = Dropout(0.5)(pool2)
time_feature = Flatten()(pool3)

# （输入2） CNN部分 输入weather数据
n_timesteps, n_features = trainX2.shape[1],trainX2.shape[2]
inputs2 = Input(shape=(n_timesteps,n_features))
conv21 = Conv1D(filters=4, kernel_size=3,strides=1, padding='same', activation='relu')(inputs2)
#conv21 = BatchNormalization()(conv21)
pool21 = MaxPooling1D(pool_size=2)(conv21)
#pool21 = Dropout(0.5)(pool21)
conv22 = Conv1D(filters=8, kernel_size=3, strides=1, padding='same', activation='relu')(pool21)
#conv22 = BatchNormalization()(conv22)
pool22 = MaxPooling1D(pool_size=2)(conv22)
#pool22 = Dropout(0.5)(pool22)
info_feature = Flatten()(pool22)

# 融合
merged = tf.keras.layers.concatenate([time_feature,info_feature])
dense1 = Dense(50, activation='relu')(merged)
outputs = Dense(1, activation=None)(dense1)
adam = optimizers.Adam(0.01)
model = Model(inputs=[inputs1,inputs2], outputs=outputs)

model.compile(loss='mse', optimizer=adam)#model.compile()方法用于在配置训练方法时,告知训练时用的优化器、损失函数和准确率评测标准 
model.summary()#输出参数

---

总结

完结，撒花！