【文献阅读】Distributed long-term hourly streamflow predictions using deep learning

《使用深度学习的分布式长期每小时流量预测——爱荷华州的一个案例研究》

问题来源:美国国家气象局提供最多7天的河流预报。最近在爱荷华州的评估显示,NWS的预测技能在上游尺度上有很大的差异,特别是在高洪水位和长前置时间下。

需解决问题:模型的准确性往往被限制在较短的前置时间内,不能进行长期流量预测;针对上游问题进行解决

提出方法:本研究提出了一种新的深度递归神经网络方法-神经径流模型(NRM),使用一个半分布的模型结构,将来自上游站模型输出的观测和预测数据作为下游量表的额外输入。

本研究还表明,NRM中的分布结构可以通过整合上游河流流量计的水位数据来改善水流预测。

(什么是分布结构呢?答:NRM-分布式模型,该模型使用基于NRM的上游流量预测作为输入,以改进下游流量的预测。虽然上游预测可能会引入一些错误,但它也为下游模型提供了有价值的输入。)

插一句话:本小白初步认为建立模型与实际需解决问题,当地存在的问题以及地理位置有很大关联,该模型的建立只用于特定情况

基本知识:

1.径流:地表或地下流动的水流,按水流来源可有降雨径流融水径流以及浇水径流;按流动方式可分地表径流地下径流,地表径流又分坡面流和河槽流

神经降雨-径流模型

  • 基于站点的降雨径流模型

         一种新的基于序列的神经网络,神经径流模型(NRM),利用神经机器转换的思想进行水流建模,以测试在高时间分辨率下进行降雨预测是否有效。所提出的NRM结构如图所示。NRM需要72小时的降雨、河流流量和蒸散量的历史数据,以及120小时的降雨和蒸散量的预测数据作为输入。目标预测输出是下一个120小时的流量。

详细解释:

encoder:输入是历史72小时的降雨、径流和蒸散量(对应代码中的var,var2,var3)#72*3

decoder:输入是未来120小时的降雨和蒸散量(对应代码中的var1,var2)#120*2

预测:未来120小时的径流流量(对应代码中的var3)

此外,在NRM-分布式网络中,降雨数据只包括上游子流域,不包括下游子流域区域。

  • 采用Kolmogorov-Smirnov检验(KS检验)作为累积分布函数(CDF)的非参数检验,来确定模型是否在统计学上有显著差异
  •  在冬季,冻结的河流没有河流流量数据,本文也没有考虑冻结的时间。此外,在爱荷华州还有大雪和冰雪融化的问题,在几个流域每年的二月和三月。由于在爱荷华州没有准确的每小时积雪监测数据,因此本文也没有考虑2月和3月的数据。将水流数据作为模型评价的目标输出,并作为图1中源输入部分过去的观测结果
  • 所提出的NRM模型和NRM-分布模型不仅适用于美国地质勘探局的水流数据预测,而且也适用于水位传感器
  • 缺点:1.NRM仍然局限于对小流域或间歇性溪流进行长期预测。2.具有双峰水文图的复杂降水事件难以用NRM进行准确预测。

四项测试以实现最佳流量测试

1.NRM模型与LSTM-seq2seq模型比较

在本次测试中,NRM使用了2011年10月至2018年9月的数据。2012年至2017年(前6年)用于校准(培训和验证)。在校准中,使用2014至2017进行训练,并使用2012至2013进行验证,2018年进行最终评估。

2.NRM被应用于位于爱荷华州的63个美国地质调查局观测站,预测时间长达120小时

3.对NRM应用了一个分布式结构,称为NRM分布式结构。使用第二次测试(NRM模型)中生成的上游模型预测作为预测下游流域的附加数据源外,所有数据集均与第一次测试相同

4.

该测试使用来自美国地质调查局仪表上游的水位传感器的数据直接作为输入,以验证数据驱动的模型是否能够整合水位数据,以提高模型的性能。由于在过去几年中建造了许多流级传感器,这部分使用了从2014年至2017年的4年的数据进行校准。详细地说,最后2.5年的数据用于训练,前1.5年的数据用于验证。与之前的测试相同,该测试使用了2018年。在本测试中,将NRM和4年训练和验证数据的结果进行比较,然后与6年训练和验证数据的NRM进行比较。

Privacy-preserving machine learning is becoming increasingly important in today's world where data privacy is a major concern. Federated learning and secure aggregation are two techniques that can be used to achieve privacy-preserving machine learning. Federated learning is a technique where the machine learning model is trained on data that is distributed across multiple devices or servers. In this technique, the model is sent to the devices or servers, and the devices or servers perform the training locally on their own data. The trained model updates are then sent back to a central server, where they are aggregated to create a new version of the model. The key advantage of federated learning is that the data remains on the devices or servers, which helps to protect the privacy of the data. Secure aggregation is a technique that can be used to protect the privacy of the model updates that are sent to the central server. In this technique, the updates are encrypted before they are sent to the central server. The central server then performs the aggregation operation on the encrypted updates, and the result is sent back to the devices or servers. The devices or servers can then decrypt the result to obtain the updated model. By combining federated learning and secure aggregation, it is possible to achieve privacy-preserving machine learning. This approach allows for the training of machine learning models on sensitive data while protecting the privacy of the data and the model updates.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值