双向长短期记忆网络模型_基于深度双向长短期记忆网络的空气质量预测方法与流程...

【技术领域】

本发明涉及一种基于深度双向长短期记忆网络的空气质量预测方法，属于空气污染预测领域。

背景技术：

空气污染物浓度的预测拥有很强的学科交叉性，一直是环境、气象、数学、地理及计算机科学领域研究的热点。由于污染成分的多样性和复杂性，污染指标直接往往存在高度的非线性关系，传统数学模型方法很难建立精准的预测模型，并且需要大量的数据采集及运动机理的分析，加上气象条件实时变化的干扰，更增大了空气污染物预测的困难程度。

常见的方法主要分为理论的方法和基于统计的方法。基于统计学的预测方法越来越受到人们的重视，因为这些方法本身不需要过多的先验知识，并且可以高效准确地得到输入和输出之间的映射关系，例如人工神经网络、聚类、回归等方法。目前，长短期记忆网络已经被用于空气污染物预测，并取得了良好的效果。由于可以充分利用前向和后向的信息，双向lstm准确率通常比单向lstm要高，稳定性要好。因此，双向长短期记忆网络作为一种优秀的深度学习时间序列预测方法，可以有效地挖掘和利用正序和逆序时间序列的隐藏信息用于空气污染物预测。近年来，深度学习在回归任务中体现出了极大的优势，受此启发，本申请人提出了一种基于深度双向长短期记忆网络的空气质量预测方法来解决上述问题，以提高污染物的预测精度。

技术实现要素：

本发明专利针对上述现有技术存在的缺陷，设计了一种基于深度双向长短期记忆网络的空气质量预测方法。本发明专利的技术系统能很好的利用历史污染物指标数据实现空气质量的预测，有助于空气污染的预防和治理。

为了解决循环神经网络的梯度消失问题及充分利用数据前序和后序的关系，在本专利所提出的方法中，运用了双向长短期记忆网络。长短期记忆网络是循环神经网络的一种，每一个单元包含输入门、遗忘门和输出门，可以有效处理长短期的时序数据，并获得有用信息。双向循环的神经网络增加了每层网络之间的节点连接，让前向层细胞状态的输入包含输入和上一时刻的输出，后向层的细胞状态的输入包含输入和下一时刻的的输出，最终的输出层由前向层和后向层的输出共同决定。

整个算法的结构的具体步骤如下：

s1：数据采集后进行预处理，得到污染物时序数据，并划分数据集为训练集、验证集和测试集；

s2：将训练集的数据输入深度双向长短期记忆网络中进行训练，直到网络收敛；

双向长短期记忆网络的计算过程为：

hi＝f(w1xi+w2hi-1)

hi'＝f(w3xi+w5hi+1')

oi＝g(w5hi+w6hi')

其中w为不同的权重，h为前向隐藏状态，h’为反向隐藏状态，x为输入，o为输出。

s3：将验证集的数据输入网络进行验证，并调节网络的参数，最终得到最优的参数；

本专利需要调节的参数包含dropout值，这个值决定了随机删除的隐藏神经元的个数，从而防止模型过拟合。

s4：将最终模型进行保存，输入测试集进行识别效果测试；

s5：最终模型用于实际空气质量预测环节。

本专利采用均方误差(mse)作为损失函数，

其中yi是真实的污染物浓度值，ypi是预测的污染物浓度值。

衡量算法的指标为rmse——均方根误差，mape——平均百分比误差，mae——平均绝对误差和拟合优度——r2。

【附图说明】

图1是算法的流程图

图2是双向长短期记忆网络结构图

图3是一氧化碳的预测结果图

图4是二氧化氮的预测结果图

【具体实施方式】

如图1所示为算法流程图，双向长短期记忆网络结构如图2所示。本算法具体步骤如下：

步骤1：数据采集后进行预处理，得到污染物时序数据，并划分数据集为训练集、验证集和测试集；

步骤2：将训练集的数据输入深度双向长短期记忆网络中进行训练，直到网络收敛；

步骤3：将验证集的数据输入网络进行验证，并调节网络的参数，最终得到最优的参数；

步骤4：将最终模型进行保存，输入测试集进行识别效果测试，最终模型可用于实际空气质量预测环节。

所述步骤1包括以下步骤：

步骤1.1：数据采集：本专利的实现方法所采集的数据为：同一位置的不同的污染物指标的历史时序数据，例如co、no2等，每个时刻的污染物浓度向量为t＝[ct(a),ct(b),ct(c),ct(d),ct(e)...]，向量中每一个值表示不同污染物在t时刻的浓度值；

步骤1.2：数据预处理：对指标历史时序数据进行均值法缺失值填补，异常值处理和标准化后得到最终的历史时序数据集。

步骤1.3：数据集划分：将历史时序数据集以7:2:1的比例划分为训练集、验证集和测试集。

所述步骤2包括以下步骤：

步骤2.1：搭建双向长短期记忆网络，包含输入层、前向层、后向层、全连接层和输出层。其中，需要调节的参数为每层的长短期记忆神经单元的个数、dropout值；

步骤2.2：初始化双向长短期记忆神经单元的细胞状态和隐藏状态，将数据输入；

步骤2.3：计算当前神经元的输入门、遗忘门、输出门的权值及当前记忆候选值；

步骤2.4：计算当前神经元的隐藏状态和记忆状态，并传递到下一神经元；

步骤2.5：利用mae作为损失函数，一直训练循环上述步骤直到模型收敛。

所述步骤3包括以下步骤：

步骤3.1：在验证集上测试已训练好的模型；

步骤3.2：根据模型结果调节参数；

步骤3.3：参数调节完成，保存模型。

所述步骤4包括以下步骤：

步骤4.1：将测试集最终训练好的预测模型；

步骤4.2：将所有的预测结果与真实值进行对比，得到最终的模型评价指标；

步骤4.3：最终的预测模型可以用于实际空气质量监测环节。

最终模型的评估结果如表1所示，预测趋势图如图3和图4所示，由此可见，本专利中的算法拥有较好的实用前景和泛化能力。

表1预测结果表

应说明的是，以上实施例仅用以说明本发明专利污染物预测说明，而不是对本发明专利的限定。本领域的普通技术人员应当理解，可以对本设计的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。