一次打包三个模型！Transformer-LSTM/GRU/BiLSTM实现多特征回归预测！

        声明：文章是从本人公众号中复制而来，因此，想最新最快了解各类智能优化算法及其改进的朋友，可关注我的公众号：强盛机器学习，不定期会有很多免费代码分享~

目录

原理简介

数据介绍

结果展示

全家桶目录

完整代码

---

之前的几期推文里推出过Transformer以及优化Transformer（BKA-Transformer）预测的模型：

Matlab终于能实现Transformer预测了

改进Transformer模型其实也不难

应后台小伙伴的要求，今天继续给大家推出几个小创新模型，包括Transformer-LSTM、Transformer-GRU、Transformer-BiLSTM。每个模型对应不同的数据集效果可能均不相同，大家需要进行尝试才知道哪个模型与自己的数据集最为匹配。

因此，为了方便大家的选择，本期推文这几个模型都是一次购买直接全部打包带走！！

原理简介

这里不再过多复杂的介绍公式，原始的Transformer模型模型结构图如下：

​

那么，如何嵌入LSTM/GRU/BiLSTM模块呢？这里以LSTM为例，采用串联方式，也就是在两个自注意力层后加入LSTM模型，加入LSTM后的模型结构图如下所示：

​

同时，加入了dropout模块可以在一定程度上防止过拟合。整体模型中，通过Transformer和LSTM进行连接，能够捕捉序列中的复杂依赖关系和长期信息。

数据介绍

本期采用的数据是经典的回归预测数据集，是为了方便大家替换自己的数据集，各个变量采用特征1、特征2…表示，无实际含义，最后一列即为输出。

​

更换自己的数据时，只需最后一列放想要预测的列，其余列放特征即可（特征数量不限），无需更改代码，非常方便！

结果展示

这里以Transformer-LSTM模型为例，设置最大训练次数为200次，初始学习率为0.001，最大位置编码长度为256，自注意力机制中的头数为4，每个头的键的通道数为4*32，利用上文的测试数据进行训练和测试，得到的结果如下所示（其余两个模型出图效果均类似）：

训练集预测效果图：

​

测试集预测效果图：

​

回归拟合图：

​

误差直方图：

​

训练进度：

​

网络结构图：

​

最后控制台也会输出完整的误差指标结果：

全家桶目录

​

完整代码

点击下方小卡片，再后台回复关键词：

TLGB

其他更多需求或想要的代码均可点击下方小卡片，再后台私信，看到后会秒回~