随风飘摇的土木狗的博客

创建LSTM回归网络。将LSTM层指定为具有128个隐藏单元。训练参数可查看帮助，明白其中含义。% 定义网络结构% 定义训练参数。

通过多次循环，优化训练集和测试集输入权重，从而更新输入数据， 其次通过PCA主成分分析降维，控制特征数量。从而优化输入变量，改善训练模型，优化预测结果。在本文中，将展示一个使用多次循环递归拓展（REMR）理论来改进LSTM回归预测问题。1.多次循环运行模型，设定循环次数。为了便于展示，循环次数设为5。第三个子图可看出，训练集和测试集平均指标，在第五次循环结果最佳。3.初始化训练集与测试集输入变量权重。前80为训练集，后23为测试集。6.带入新变量预测，得到评价结果。4.更新训练集与测试集输入变量。

案例数据精度仍存在一些不足，除了超参数范围对结果的影响，进化算法选取及参数设置以外，数据的选择，目标函数的选择以及运行环境（CPU/GPU）对结果影响也较大。研究发现，通过试验发现GPU的精度要明显高一些，其次，选择1-R2作为目标函数比选择RMSE均方根误差作为目标函数的精度高一些。本文采用600行6输入1输出数据样本，其中前500（90%训练，10%验证），后100进行测试。优化前超参数设置为【50,10,10】即神经元50个，训练次数及最小批为10.为了简化数据 ，对下图数据缩小100倍值。

前面在【MATLAB第8期】讲解了基于贝叶斯Bayes算法优化LSTM长短期记忆网络的时间序列预测模型，即单输入数据时间序列预测，见本人CSDN主页。前面在【MATLAB第10期】讲解了基于贝叶斯Bayes算法优化LSTM长短期记忆网络的多输入单输出回归预测模型思路框架，见本人CSDN主页。

**YPred_3：取测试集预测结果中，100个样本中每个样本分别预测的第三个值即(1289-1399)→ 1303-1402 （删去预测的第1401-1402值）+YPred_1预测的前两个值 1301-1302（第100次预测时，样本100：1388-1399 个数据 → 预测 1402）第一种思路预测结果会较差，即用未来预测结果预测未来 ，即我用1390-1401（此时1401为预测结果）预测1402-1404, 1391-1402预测1403-1404……

前面在【MATLAB第8期】讲解了基于贝叶斯Bayes算法优化LSTM长短期记忆网络的时间序列预测模型，即单输入数据时间序列预测，见下文推荐的文章【文章链接】

----------------------------------------分割线--------------------------------------------------------%----------------------------------------分割线--------------------------------------------------------%% --------------- 7.使用贝叶斯优化找到最佳 LSTM 参数。

1.原理：通过进化算法寻找LSTM网络最优超参数，智能进化算法原理省略不讲。2.本文测试数据为12输入单输出，解决回归问题。3.评价指标：测试集实际值与预测值对比，目标函数为rmse，另外附MAE、MAPE、R2计算值。4.常见优化LSTM三个参数，即隐含层神经元数，学习率，训练次数；5.本代码进化算法为测试参数，为了提高运算速度，迭代次数为3，种群数量为5，可自行修改。

本文提供机器学习/深度学习LSTM/GRU等神经网络回归/分类问题的优化及改进方法，均采用2021年最新进化算法与神经网络学习，通过进化算法不断迭代寻优，寻得最优超参数。