鲸鱼WOA优化注意力机制的BiLSTM用于负荷预测

基于Python、tensorflow1.x框架，提出了一种基于 Attention 机制的BiLSTM短期电力负荷预测方法，该方法将历史负荷数据作为输入，建模学习特征内部动态变化规律，并引入Attention 机制通过映射加权和学习参数矩阵赋予Bilstm 隐含状态不同的权重，减少历史信息的丢失并加强重要信息的影响，简称BiLSTM-Attention短期负荷预测模型。同时，针对该模型超参数选择困难的问题，提出利用鲸鱼woa算法实现该模型超参数的优化选择。

1、Bilstm原理-百度就有

2、注意力机制，参考

3、BiLSTM-Attention模型

4，鲸鱼优化BiLSTM-Attention超参数

鲸鱼WOA优化问题是对适应度函数求极大值或极小值的问题，本文以最小化BiLSTM-Attention网络期望输出与实际输出之间的均方差为适应度函数，即找到一组网络超参数，使得 BiLSTM-Attention的误差最小，整个优化流程如图  所示。 WOA算法优化 LSTM-Attention 分为WOA部分、BiLSTM-Attention 部分和数据部分。其中，BiLSTM-Attention部分首先根据 WOA 传入的参数进行解码，获得迭代次数、学习率、与各隐含层节点数，然后利用数据部分传入的训练集进行网络训练，最后对测试集进行预测，获得实际输出值与期望输出值的误差均方差，并将均方差作为适应度值返回 给WOA部分。WOA部分根据适应度值进行发现者、跟随者、警戒者的移动操作，实 现种群与全局最优解的更新。 通过该方法，最终可获得优化的网络超参数。

4.结果

数据为2016负荷预测竞赛数据，采用2012年数据，进行提前一步滚动预测建模

4.1 BP网络--与传统方法对比，验证深度学习的准确性

4.2 LSTM结果

4.3 没优化的Bilstm-Attention

4.4 鲸鱼优化biLSTM-Attention。

找到一组网络超参数，使得 BiLSTM-Attention的误差最小，主要优化的超参数是：学习率，训练次数，两个隐含层的节点数，其适应度曲线为：

最优参数为： [0.006002472666131216, 94, 98, 79]。利用该超参数进行建模，结果为：

4.5 各算法结果对比