2024/9/15周报

摘要

本周对项目继续研究，撰写了年度报告的框架和一些内容，并尝试使用LSTM和遗传算法相结合，即通过遗传算法优化LSTM的超参数，该代码运行结果在迭代20次左右就已达到最高点，增加迭代次数结果并不会变的更好。这可能是因为在某些情况下，解空间可能存在多个局部最优点，而遗传算法可能会收敛到其中一个而不是全局最优解。增加迭代次数有时候并不能解决这个问题。然后阅读了一篇基于双向LSTM深度学习的污水流量时间序列预测的文献，该文献使用Bi-LSTM来进行预测。

Abstract

This week, I continued my research on the project, wrote the framework and some content for the annual report, and attempted to use a combination of LSTM and genetic algorithm to optimize the hyperparameters of LSTM through genetic algorithm. The code reached its peak after about 20 iterations, and increasing the number of iterations did not improve the results. This may be because in some cases, there may be multiple local optima in the solution space, and genetic algorithms may converge to one of them instead of the global optimum. Increasing the number of iterations sometimes does not solve this problem. Then I read a literature on sewage flow time series prediction based on bidirectional LSTM deep learning, which used Bi LSTM for prediction.

题目

Time Series Prediction of Wastewater Flow Rate by Bidirectional LSTM Deep Learning
基于双向LSTM深度学习的污水流量时间序列预测

贡献

本文不仅提出了一种利用双向长短期记忆（bi-LSTM）等深度神经网络对时间序列进行预测的可行策略，而且在城市污水处理厂的污水流量预测中也取得了较好的效果。基于深度学习的时间序列预测的基本过程是收集所有可用状态的过去信息进行深度学习，并利用滑动时间窗的无训练区间的p步超前延迟进行预测。因此，根据这一基本原理，利用bi-LSTM对阳居污水处理厂的污水流量进行序贯点p步预测是可行的。

用于废水流量预测的深度Bi-LSTM

首先考虑以下降雨导出的入渗和入流（RDII）模型，图1中的流速（Q）是通过研究区域内河流的流速（V）和水位（H）输出的，输入为降雨量（R）。

流量和水位在降雨、入渗和入流之间具有复杂的函数关系，如果河流环境没有快速变化，考虑以下RDII黑箱模型，如图1和2所示。这种黑箱结构可以与多输入数据（学习数据）和单个输出相关联。

由于降雨量、流速、水位和流量可以从具有不确定噪声的时间序列数据中获得，因此利用长短期记忆（LSTM）的序列到序列回归和预测是合适的。

图3表示4个输入数据，例如H、V、Q和R，框中偶尔会丢失数据。以下描述了如何使用LSTM网络处理序列或时间序列数据以进行分类、回归和预测任务：

使用如下的Bi-LSTM来预测：

1)对于具有上下文兼容特性的时间或位置相关数据，使用正向和反向输出或隐藏状态结果非常有利。
2)除了时间周期与过去→现在→未来时间序列的连续关联，以及通过后向推断后向时间周期与未来→现在→过去的相关性之外，结果很可能通过从经验中学习来获得，并通过优化预测来导出。
3)它是一个黑盒模型，适合于序列到点预测或回归分析。它是高度通用的，因为它是基于经验和直观的真实的数据，而不是复杂的数学模型。

数据处理

采用改进的Bartlett窗或Hanning窗FIR滤波器作为简单的移动平均滤波器，使已有训练数据的波形尽可能平滑，得到高质量的流速、水位、流量训练序列。

数据集

通过使用bi-LSTM深度学习来表示预测废水流量的训练策略。在Matlab编码中用于流数据训练和验证的biLSTM层的网络设计参数如表1所示。

设置学习率为0.2，迭代周期为125次。batchsize为120次，最大历元数为80次。

对于序列到点预测，特征向量的维数D是D=4×12=48，因为对于p步超前预测(p=11)所需的延迟是p+1=12，并且由于输入序列具有四种类型：降雨量、流速、水位和流速，所以用于训练的特征数是4。、双向LSTM的隐含层单元数包括S=300个正向单元和S=300个反向单元，加在一起总共有600个单元。这些单元都连接到一个完全连接的层，并用于计算回归输出的均方误差。

这些设计参数对于学习30到60天的数据具有经验上的优势，并且设计用于适当的计算性能。
以下显示，在31天序列数据中，80%用于训练，20%用于验证水流速度。现在，训练数据的总数是144(样本/天)×31(天)=4464(样本)。实际使用的训练数据个数为4464×0.8=3571(样本)，测试数据个数为4464×0.2∼=893(样本)。

实际上，考虑到边界条件，bi-LSTM中使用的训练序列和测试序列的数量分别为3547和869。
图9为2017年8月19日至2017年9月18日，扬州污水处理厂前方的水位、流速、流量、降雨量的31天过滤序列数据。在实践中，训练过程中的序列输入将被预测的步长视为时间延迟因素。例如，为了预测11步之前的序列，需要至少(11+1)步的时间延迟的深度学习间隔的累积信息被用来预测未来，从而预测总时间。

结果

biLSTM的结果与其他算法（如SVM，GRU和LSTM）的结果进行了比较，以显示我们方法的鲁棒性。
在这四个模型中，Bi-LSTM具有最高的相关系数，其次是LSTM，然后是GRU，最后是SVM。这意味着Bi-LSTM对股票价格的预测最接近实际结果，而SVM的预测效果相对较差。
对于所有的时间段，Bi-LSTM的RMSE都相对较低，意味着它的预测误差最小；其次是LSTM，然后是GRU，最后是SVM。这再次证实了Bi-LSTM在预测准确性方面的优势。

总结

下周将继续对LSTM+GA算法进行研究学习，完善模型预测。