【文献阅读】A Regional Semi-Distributed Streamflow Model Using Deep Learning

已于 2022-07-11 10:05:27 修改
阅读量411 收藏
点赞数 2
文章标签： 深度学习 机器学习 python
于 2022-07-07 21:39:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55972912/article/details/125666472
版权

目录

1.NRM-Generalized and NRM-Generalized-Distributed

watershed-level NRM model

 the NRM-Generalized

NRM-Generalized-Distributed

2.Model Settings and Evaluation

3.Case Studies  

4.性能基准

5.结论

本文主要贡献：通过训练单一模型可以获得的水文深度学习模型的时空泛化能力。

补充基本知识：

1.分水岭：是指分隔相邻两个流域的山岭或高地

2.前置时间：从流程开始到结束所经过的时间量

3.集中时间（Tc）：径流从流域中水力最远的点留到出口所需的时间。

广义模型的局限性：1.需要大量数据；2.一些分水岭特征（即基岩的深度）在数据中无法得到；3.大流域和小流域的水流行为在变化的时间尺度上是不同的

1.NRM-Generalized and NRM-Generalized-Distributed

NRM-广义模型是一种集总模型，它利用排水量尺度的时间序列数据和物理特征作为输入，同时预测所有流域的河流流量。该区域广义模型包括流域面积、土壤类型、坡度等物理特征，而原始NRM中没有考虑这些特征，因为每个模型都是独立训练的，因此每个NRM的流域特征都是恒定的

NRM-广义模型考虑了每个流域的4个物理特征：基于最长路径的平均坡度、面积、集中时间(Tc)，以及12种土壤类型在流域中的比例。（假设这些物理特征是随着时间变化的）。这些数据，结合小时降水量(Seoetal.，2019)、小时流量和月蒸散量，作为本研究的输入（18个特征）（这些数据都要经过预处理）

  • watershed-level NRM model

损失函数：

  •  the NRM-Generalized

损失函数：

 它是基于不同的时间步长计算出来的，在一个训练实例中，然后计算出流域平均值。所设计的损失函数保证了在优化过程中考虑了所有不同的流域大小和流量。

  • NRM-Generalized-Distributed

nrm广义分布是一种半分布模型，将每个测量的流域视为大流域的子流域，所有的时间序列数据和物理特征都仅基于子流域。（不理解这句话）

2.Model Settings and Evaluation

  • 利用上下游关系，创建了两个独立的数据集，分别包含18和19个输入特征
  • 输入来自125个USGS测量的NRM广义模型和NRM广义分布模型
  • 从2014-2017年、2012-2013年和2018年水务年的数据中，分别创建了三个不同的子集（训练、验证和测试数据集）
  • 性能指标：
  • 不同流域的浓度变化时间差异很大，因此在同一前置时间内比较不同流域的预测结果是不公平的。因此，采用无量纲时间轴来进行模型在时间序列中的性能的纵向比较。在本研究中，无量纲时间轴被定义为前置时间与浓度-时间的比值。

3.Case Studies  

本文进行了四次实验：

 1.第一个测试使用了62个独立的上游仪表，应用所提出的NRM-广义模型在独立的上游测量来评估模型的有效性。

2.在第二个测试中，我们评估了该模型在未经训练的流域上的空间泛化能力。具体来说，我们从62个上游流域中随机选择42个上游流域，训练了一个新的NRM-广义模型。我们将该模型应用于42个经过训练的量规以及20个未经训练的上游量规。我们按面积对62个独立的上游流域进行了分类。每对第三个流域进行标记(即流域No.3、6、9等)，并对42个未标记的上游流域进行训练。因此，20个未经训练的上游指标被使用来评估模型，验证一个完全不同的分水岭集的通用性。我们还将训练后的模型应用于位于42个训练后的流域下游的18个额外流域，以评估扩展的通用性。在本次测试中，我们只使用带有绿色标记的仪表来开发模型，它们被应用于绿色的上游仪表和红色的下游仪表上。

 3.第三个测试，消融研究，研究所有四个物理特征是否有必要加入到广义模型中。在这个测试中只训练和评估62个上游仪表。

4.第四次测试中，我们对爱荷华州63个下游流域和所有125个下游流域的两个新的区域模型采用了NRM-广义分布式方法。如表4所示，我们在这个测试中训练了四个模型。下游模型在63个仪表上进行训练；整个模型在125个仪表上进行训练。此外，我们将分布式结构应用到广义模型中。在分布式模型中，使用未来观察到的上游流量进行训练，并使用上游仪表的模型输出进行测试和评价。最后，我们在这个测试中评估了125个流域的最佳模型，以进行最终的评估和可视化。

4.性能基准

  • 第一个基准是自相关（时间上的时间持久性）：可以作为评估未来中短期河流流量估计的替代方案
  • 由于本研究旨在探索潜在的泛化能力，其主要基准是基于分水岭的模型NRM（NRM广义模型）和NRM-分布。NRM和NRM-分布模型是基于流域的模型，分别在每个仪表上进行训练和测试。因此，将NRM广义模型与NRM进行比较就像将一个模型与125个不同的模型进行比较
  • 第三个基线是NRM-广义基线，它考虑了时间序列特征，包括来自所有流域的降水、ET和水流，但不考虑流域水平特征。该模型的特征见表4测试1。

5.结论

1.test1结果表明坡度、面积、集中时间换个土壤类型等其特征有助于有效的表征不同流域之间的降雨径流行为

2.test2结果表明，该模型提供了与以前的模型可比较的结果，可以适用于外部独立流域和扩展的下游流域，但精度下降有限。这进一步证明了本研究中提出的模型的普遍性和可转移性。在未来的实验中，更多的数据可能会提高精度

3.test3结果表明包含这四个分水岭特征有助于减少这些特征之间的偏差。

4.test4结果表明只有当所有特征都经过有效的预处理和具有合理的方差时，区域广义模型才能提供更好的结果。

5.局限性：

我们的广义模型在小流域和低流量流域上也可能表现不佳；

我们的研究结果还强调了准确的降水预报输入对于操作实时应用的深度学习模型的重要性。这些都是使用深度学习的广义模型的一些局限性

6.展望：物理特征和过程的考虑有限。如本研究所述，考虑流域尺度物理特征和半分布结构的深度学习模型可以使用区域模型在多个流域上工作，而牺牲的精度有限。我们呼吁水文学深度学习研究，在未来包括更多的领域知识和物理特征。

久八七三
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
WARD方法matlab代码-Distributed-Compressive-Sensing-A-Deep-Learning-Approach
05-23
Other_Methods”中，使用以下参考文献中的贝叶斯压缩感测代码。 请访问其网站以获取版权条款和条件。 [1] Bayesian and Multitask Compressive Sensing: "http://www.ece.duke.edu/~lcarin/bcs_ver0.1.zip" [2
Tensorflow-for-Distributed-Deep-Learning:使用Google Cloud Machine Learning Engine的TensorFlow（1.8+）数据集，功能列，估计量和分布式培训
04-29
使用TensorFlow和Google Cloud AI进行...代码使用最新的TensorFlow模式，包括数据集API，功能列和Google Cloud Machine Learning Engine的核心训练，超参数调整和推断功能。应该在4月中旬发布（支持TensorFlow 1.8+）
浅析 Semi-Supervised Learning 中的 consistency 问题
Jingyang.Zhang的博客
06-17 5457
浅析 Semi-Supervised Learning 中的 Consistency 问题传统半监督学习简述：现有半监督学习的问题 —— Individual Consistency实现方法总结 传统半监督学习简述： 区别于全监督学习，半监督学习针对训练集标记不完整的情况：仅仅部分数据具有标签，然而大量数据是没有标签的。因此，目前半监督学习的关键问题在于如何充分地挖掘没有标签数据的价值。主流的半监督学习方法有下面几种： Self-Training 方法。这是一种很直观的思路：既然大量数据是没有标签的，那么
论文阅读笔记--Clustered Federated Learning:Model-Agnostic Distributed Multitask Optimization Under Privacy
Shawn2134123的博客
03-16 3089
Introduction 传统的Parameter Server（P-S）架构的联邦学习系统尝试训练出一个模型，让它能适用于每一个client的数据分布，这暗含了一个假设，模型的最优解θ∗\theta^*θ∗同时是所有client的最优解，各个client的模型是全等的（congruent）。也就是作者提到的Assumption 1: 显然这个条件不是任何时候都可以得到满足的，作者列举了两种例子： 1）模型fθf_{\theta}fθ​表达能力不够强，无法同时拟合所有client的数据集； 2）各个客户端
论文阅读：Privacy-Preserving Deep Learning
16岁工科狗想当歌手
10-20 2434
Privacy-Preserving Deep Learning 文章链接：http://www.cs.cornell.edu/~shmat/shmat_ccs15.pdf 发表于CCS2015 文章提出的动机： 深度学习所需的大量数据收集存在明显的隐私问题。用户的个人高度敏感数据，如照片和录音，由收集这些数据的公司无限期保存。用户既不能删除它，也不能限制它的使用目的。此外，集中保存的数据受到法律传唤和法外监督。许多数据所有者(例如，可能希望将深度学习方法应用于临床记录的医疗机构)因隐私和保密问题而
Distributed Deep Learning-based Offloading for Mobile Edge Computing Networks 代码复现
weixin_44410358的博客
02-21 1万+
Distributed Deep Learning-based OffloadingforMobileEdge ComputingNetworks（代码复现）前言一、代码获取二、环境搭建1.环境需求2.环境搭建命令3. 运行main.py总结 前言 本文主要记录边缘计算卸载DDLO算法的代码复现过程中的环境搭建 一、代码获取 GitHub链接: DDLO This project includes: memory.py: the DNN structure for DDLO, inclduing tr
Deep Reinforcement Learning 文献综述
miu~
12-05 1376
 转载地址：http://blog.csdn.net/lqfarmer/article/details/72868471 目录 值函数 策略  离散控制 连续控制  多智能体 文本处理 计算机视觉 机器人 游戏 蒙特卡洛 逆强化学习 多任务和迁移学习 搜索优化 层次化学习相关的文章 值函数 Model-Free Episodic Control, C. Blund...
论文阅读-A Fast Learning Algorithm for Deep Belief Nets
LuffysMan的博客
06-14 2246
作者: G.E.Hinton et. al. 日期: 2006 类型: article 来源: Neural Computation 评价: Deep Learning eve(深度学习前夕) 论文链接: http://www.cs.toronto.edu/~hinton/absps/ncfast.pdf 文章比较"硬核", 各种算法原理解释, 数学公式和术语. 而且作者真的是很喜欢用一些生物上的...
[论文翻译]Deep Learning 翻译及阅读笔记
风信子的博客
08-09 7183
论文题目：Deep Learning 论文来源:Deep Learning_2015_Nature 翻译人：CQUT 重理工实验室 Deep Learning Yann LeCun∗ Yoshua Bengio∗ Geoffrey Hinton 深度学习 Yann LeCun∗ Yoshua Bengio∗ Geoffrey Hinton Abstract Deep learning allows computational models tha
深度强化学习 Deep Reinforcement Learning 学习整理
热门推荐
人工智能
07-14 1万+
这学期的一门机器学习课程中突发奇想，既然卷积神经网络可以识别一副图片，解决分类问题，那如果用神经网络去控制‘自动驾驶’，在一个虚拟的环境中不停的给网络输入车周围环境的图片，让它去选择前后左右中的一个操作，并给予适当的反馈，是否能够把‘驾驶问题’，转化为分类的问题，用神经网络解决呢。 和经典的强化学习 Reinforcement Learning 最大的区别是，它将直接处理像素级的超高维度raw
联邦学习笔记—《Communication-Efficient Learning of Deep Networks from Decentralized Data》
weixin_44134344的博客
10-10 1万+
P.s.: 第一次读英文文献，对于英语不好的我来说，难度不小，所以打算采用英译汉的模式来学习，等英文越来越好，就不译成中文了，冲冲冲！ 摘要： Modern mobile devices have access to a wealth of data suitable for learning models, which in turn can greatly improve the user experience on the device. For example, language models
Tag deep-learning 一大堆深度学习论文
GarfieldEr007的专栏
05-30 1万+
Tag deep-learning [159 articles]  Recent papers classified by the tag deep-learning. Search   Copy  Export   Sort  Hide Details   ✔ Deep Learning withou
藏经阁-BigDL_ a Distributed Deep Learning Library on Spark__45.pdf
08-26
藏经阁-BigDL_ a Distributed Deep Learning Library on Spark__45.pdf
distributed-deep-learning-with-horovod.pdf
06-29
distributed-deep-learning-with-horovod Horovod是基于Ring-AllReduce方法的深度分布式学习插件，以支持多种流行架构包括TensorFlow、Keras、PyTorch等。这样平台开发者只需要为Horovod进行配置，而不是对每个架构...
Learning User and Product Distributed Representations Using a Sequence Model for Sentiment Analysis
02-11
Learning User and Product Distributed Representations Using a Sequence Model for Sentiment Analysis
[数据集][目标检测]伤口检测数据集VOC+YOLO格式2760张1类别
FL1623863129的博客
05-27 416
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。重要说明：大部分是脚本伤口，也有一小部分是其他部分伤口。图片数量(jpg文件个数)：2760。标注数量(xml文件个数)：2760。标注数量(txt文件个数)：2760。使用标注工具：labelImg。标注规则：对类别进行画矩形框。
深度学习之加宽全连接
2401_83576060的博客
05-27 650
在这个模型中，inputs层代表了宽度的特征，而hidden1和hidden2层代表了深度的特征。通过将输入层和第二个隐藏层的输出拼接在一起，模型结合了宽度和深度的特征，以提高模型的预测能力。：optimizer=‘sgd’：这是模型训练时使用的优化器。sgd代表随机梯度下降（Stochastic Gradient Descent），它是一种简单的优化算法，用于在训练过程中更新模型的权重。
AI新时代——【深度学习】驱动的【AIGC大模型】与【机器学习】的创新融合
小李很执着的博客
05-29 1838
深度学习的强大特征提取能力，结合AIGC大模型的生成能力，使得我们能够在图像、文本、音频和视频生成方面实现前所未有的突破。这些模型的训练过程涉及大量的数据和计算资源，通过反复训练和优化，模型可以从数据中学习到复杂的特征和规律。这些模型不仅可以生成连贯的文本和逼真的图像，还可以创作音乐、生成视频、设计图案等，极大地扩展了内容创作的可能性。通过这种方式，用户可以利用GPT-4模型生成各种类型的文本内容，包括新闻文章、故事创作、技术文档等，极大地提升了文本创作的效率和质量。
用于脑肿瘤分割的跨模态深度特征学习| 文献速递-深度学习肿瘤自动分割
最新发布
weixin_38594676的博客
05-29 555
然而，与非常普遍的RGB图像数据不同，用于脑肿瘤分割的医学图像数据在数据规模方面相对较少，但在模态属性方面包含了更丰富的信息。所提出的跨模态深度特征学习框架包括两个学习过程：跨模态特征转换（CMFT）过程和跨模态特征融合（CMFF）过程，分别旨在通过在不同模态数据之间转移知识和融合来自不同模态数据的知识来学习丰富的特征表示。其次，由于复杂的数据结构，直接连接多模态数据以形成网络输入，就像以前的工作中所做的那样，既不是充分利用每个模态数据背后知识的最佳选择，也不是融合来自多模态数据知识的有效策略。
Privacy-Preserving Machine Learning Using Federated Learning and Secure Aggregation
05-04
Privacy-preserving machine learning is becoming increasingly important in today's world where data privacy is a major concern. Federated learning and secure aggregation are two techniques that can be used to achieve privacy-preserving machine learning. Federated learning is a technique where the machine learning model is trained on data that is distributed across multiple devices or servers. In this technique, the model is sent to the devices or servers, and the devices or servers perform the training locally on their own data. The trained model updates are then sent back to a central server, where they are aggregated to create a new version of the model. The key advantage of federated learning is that the data remains on the devices or servers, which helps to protect the privacy of the data. Secure aggregation is a technique that can be used to protect the privacy of the model updates that are sent to the central server. In this technique, the updates are encrypted before they are sent to the central server. The central server then performs the aggregation operation on the encrypted updates, and the result is sent back to the devices or servers. The devices or servers can then decrypt the result to obtain the updated model. By combining federated learning and secure aggregation, it is possible to achieve privacy-preserving machine learning. This approach allows for the training of machine learning models on sensitive data while protecting the privacy of the data and the model updates.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值