摘要
本周阅读了一篇题目为Physics-Informed Neural Networks for Modeling Water Flows in a River Channel的论文,这篇论文提出了一种新的基于物理信息神经网络(PINN)的河道水流代理模型。本文研究PINN的性能直接从圣维南方程的配置建立在一个模拟的环境。这些实验揭示了水文建模的有希望的结果,并提出了替代方案,以解决传统方法中发现的主要挑战,同时帮助合成现实世界的表示。其次,继续跑PINN的实验发现的问题有两点,第一:物理损失值很大,可能是因为物理约束方程中涉及梯度计算,引起了梯度爆炸;第二:经打印输出发现目前的损失函数中,边界损失的loss一直是0,也就是没有发挥它的作用,下周继续对其进行改进。
ABSTRACT
This week, I read a paper titled "Physics-Informed Neural Networks for Modeling Water Flows in a River Channel." The paper proposes a new physics-informed neural network (PINN) surrogate model for river channel water flow. It examines the performance of PINNs by directly configuring them based on the Saint-Venant equations in a simulated environment. The experiments revealed promising results for hydrological modeling and suggested alternative approaches to address the major challenges found in traditional methods while aiding in synthesizing real-world representations. Additionally, two issues were discovered during further PINN experiments. First, the physical loss value is quite large, possibly due to gradient explosion caused by gradient calculations involved in the physical constraint equations. Second, upon printing the output, it was found that the boundary loss in the current loss function has consistently been zero, indicating that it hasn't played its intended role. Further improvements will be made next week to address these issues.
一、文献阅读
一、题目
题目:Physics-Informed Neural Networks for Modeling Water Flows in a River Channel
期刊\会议: IEEE Transactions on Artificial Intelligence
二、摘要
在实践中,防洪策略依赖于水文预报模型从概念或数据驱动的方法。受最近的研究成果的鼓舞,本研究提出了一种新的基于物理信息神经网络(PINNs)的河道水流代理模型。本文研究PINN的性能直接从圣维南方程的配置建立在一个模拟的环境。这些实验揭示了水文建模的有希望的结果,并提出了替代方案,以解决传统方法中发现的主要挑战,同时帮助合成现实世界的表示。在实际应用中,这些模型采用概念化或数据驱动的方法,概念模型要达到方法所提供的精度需要用到大量的物理参数.这些参数可能需要对环境有深入的了解,在复杂的盆地中可能很难识别。另一方面,虽然数据驱动的方法不需要这样的动态系统的知识,他们依赖于一个可靠的和有用的数据库,以保证系统行为的准确性。文章引入PINNs作为一个可行的解决方案,训练神经网络与一些训练数据和估计偏微分方程参数,管理潜在的动态。
In practice, flood control strategies rely on hydrological forecasting models from conceptual or data-driven approaches. Encouraged by the recent research results, this study proposes a new river flow agency model based on Physical Information Neural Networks (PINNs). This paper examines the performance of the PINN directly from the configuration of the San Venan program built in a simulated environment. These experiments reveal promising results for hydrological modeling and suggest alternatives to address major challenges found in traditional methods while aiding in the synthesis of real-world representations. In practice, these models adopt conceptual or data-driven methods, and a large number of physical parameters are required to achieve the accuracy provided by the methods. These parameters may require an in-depth understanding of the environment and can be difficult to identify in complex basins. On the other hand, while data-driven approaches do not require knowledge of such dynamic systems, they rely on a reliable and useful database to guarantee the accuracy of the system's behavior. This paper introduces PINNs as a feasible solution to train neural networks with some training data and estimate PDE parameters to manage potential dynamics.
三、创新点
(1)基于PINN的流域水流水文模拟新方法
(2)一种新的基于贝叶斯推理的PINN配置训练方法
(3)以圣维南方程为特征的综合区域水文模型分析
四、文献解读
一、Introduction
在文献中,发现了几种与洪水控制相关的水文预测策略,每种策略都以流域的特征和考虑的变量为特征。这些策略可以根据所采用的模型类型进行分类,可以是概念模型、经验模型或混合模型。基本上,概念模型是从所涉及的过程的物理推导出来的,因此,可以准确地描述潜在的现象。另一方面,经验模型采用启发式方法,并使用从观察中推断出的关系。这些数据驱动的模型不依赖于大量需要调整的物理参数,这些参数可能很难识别。最后,采用这两种策略的过程被称为混合建模。在此背景下,我们的工作提出了一种基于物理信息神经网络(pinn)的代理模型,用于建模通道流动。pinn是一种神经网络,它被训练来解决监督学习任务,同时尊重任何给定的物理定律。pinn的结构和训练策略使得吸收实际数据测量成为可能,同时应用物理正则化,从而导致控制潜在动力学的微分方程的解。除了微分方程的参数辨识之外,pinn在过程数据很少可用或随时间和空间分布不佳的情况下也很有吸引力。这种建模方法旨在规避概念和经验水文方法的缺点,同时保留其主要优点。
二、Saint-Venant方程
文献中用于建模明渠流的标准概念方法依赖于Saint-Venant方程的求解。两个偏微分方(PDEs)模型化了单一通道在没有下游流入情况下的一维动态。直观上,方程(1)和(2)是从质量守恒和动量守恒的物理定律中导出的。
三、应用于水道建模的PINN
一、让我们考虑由(1)和(2)给出的一维水流传播的动力学Q(x, t),边界和初始条件定义为:
在底面为2m、长度为2km、河床坡度为 = 0.0025、曼宁系数
的恒定矩形截面河道中。
二、物理信息神经网络的训练
为了训练神经网络来模拟水流函数 Q(x, t) 并校准参数向量 λ = [
, n],需要一个适当的数据库来定义损失函数。训练数据
可以通过给定的初始和边界条件从偏微分方程(PDE)的数值解得到。根据拉丁超立方抽样策略定义了一组配点
。
下图描述了对应于训练数据集的洪水波传播,其中= 1200 个样本。请注意,训练包含了河道开始和结束时的河流动态,而正则化数据将包含内部点。这与典型的现实世界情景相似,其中河段的测量仅在战略点(即,感兴趣的城市)进行,这意味着运营商没有中间测量数据。
三、实验分析
为了研究PINN在模拟水流动态方面的性能和精确度,我们进行了实验,这些实验采用了不同数量的配点和不同的神经网络架构。(一)实验假设所有参数已知,专注于神经网络吸收测量数据的能力。(二)实验将数据吸收与系统特性化结合起来,假设Manning系数n和床面坡度S0是未知参数,需要识别。
损失函数为:
其中,是由空间,时间,河流水位以及
的数值偏导数等变量组成的神经网络输入,输出是水流速率Q(x,t)。
为了最小化神经网络损失函数,使用500次ADAM算法,然后使用2500次有限记忆L-BFGS算法。ADAM算法是一种带动量的随机梯度下降算法,具有吸引人的收敛速度,此外,对于输入层,数据通过z-score方法进行标准化,神经网络的隐藏层由相同数量的个神经元组成,每个神经元都具有双曲正切激活函数。表1显示了不同数量的隐藏层、每层神经元和搭配点的结果误差,而训练数据点的总数保持固定为Nu= 1200个样本。MSEu和MSEp分别是在搭配点和参数[S0, n] =[0.0025, 0.02]处P(NNQ, [S0, n]) = 0时的训练误差和由此产生的误差。为了量化神经网络近似流量函数Q(x, t)的能力,验证过程使用通道点x∈{500,1000,1500}m处的PDE的预测和解之间的均方误差指标。
下图展示了最佳情况下的这些结果,即表1中的实验2。图5(a)显示了损失函数作为训练历元的函数,而图5(b) - (d)分别给出了预测的时空解Q(x, t)与通道点x∈{500,1000,1500}m处的真实值的对
比。
四、真实场景
研究对象是巴西圣卡塔琳娜州大西洋沿岸的伊塔贾伊河流域。如下图所示,该流域是该州最大的,覆盖面积约15000平方公里。选定的实验区段是伊塔贾伊米林河,位于下图所示的矩形区域内,长约109公里。根据日本国际合作机构的研究,该地区的曼宁系数为0.032,河道的平均床面坡度为。此外,该研究表明,分析区域的床面坡度变化在
到
之间。Marcuzzo等人的研究也证实了这些发现,他们发现整个河道的平均床面坡度约为
。实验的目的是证明所提出的方法能够找到这些参数,同时模型能够吸收真实数据。
该场景包括在河道入口和出口处的水位和流量测量。此外,政府机构提供了如横截面、面积和湿周的地理研究。假设通道条件规则,即路径没有显著变化,通过使用水位h和河道位置x的回归模型可以近似地估算出面积和湿周。在系统地分析了可用的地理信息后,面积和湿周的表达式由下式给出:
注意,水位h是时间t和空间x的函数。由于函数A(x,h)和是线性的在参数
和
中,它们可以通过最小二乘算法有效地设置,满足在河道的初始、中间和终点的横截面动态。数据库用于训练PINN模型包括一个在每15分钟内测量的单一洪水事件,从2020年1月10日至14日,共有960个样本。数据图14描述了在入口点 x=0m和出口点 x=109000m的水位动态 h(x,t),以及洪水波的传播。下图报告了使用架构C和贝叶斯推理正则化的实验结果—公式。解决方案使用的初始均值向量 μ(0)=[0.00033,0.025]和方差 σ2(0)=[9×10−5,5×10−3],格式为 [S0,n]。下图(a) 显示了随着隐藏层的数量、每层的神经元数量和配点变化的MSE训练误差,而下图(b) 和 (c) 分别展示了每次实验中识别出的床面坡度 S0 和曼宁系数 n的参数。
五、结论
本文通过考虑PINN作为河道水流速率的替代水文模型,对目前的技术状况做出了贡献。该研究调查了PINN架构在直接从Saint-Venant方程配置实现的模拟环境中的性能。该配置包括一个受控的水文系统,具有恒定的横截面和河床坡度,以及没有测量噪声的合成数据。综合实验的结果令人鼓舞,表明pinn可以吸收数据并发现控制系统动力学的微分方程的参数。结果表明,PINN方法在不影响其主要优点的前提下,克服了概念模型参数估计和经验方法数据缺乏的缺点。因此,PINN方法是水文建模的可行替代方法。如果通过使用数据库的数值微分获得所需的导数,那么具有架构A的PINN与底层PDE模型的依附性最好。该模型预测水流的MSE验证误差在0.0263% ~ 0.305%之间,而曼宁系数达到n = 0.02176,河床斜率达到S0 = 0.002904,在最佳情况下接近真实值。另一方面,当沿河道的水文监测站数量有限时,架构C在建模过程中呈现出最有效的结果。为了创建架构C,我们提出了一种新的基于贝叶斯推理的pinn训练方法,当参数有较好的先验值时,得到了令
人满意的结果。
二、实验
本周继续使用PINN对断面数据进行模拟,其中给定的输入是(x,t),x是13个断面的位置坐标,同一个断面在不同的时间点有不同的数据,通过数据预处理这就能得到模型的输入,然后经过神经网络的计算,得到预测解A,Q,Z。得到的A,Q,Z传递给损失函数来进行计算loss,其中loss包括四部分:物理损失:即通过自动微分来计算A,Q,Z对x和t的偏导数,然后计算残差,使得到的输出满足物理方程的约束。
数据损失:将输入的x和t经过神经网络得到的预测值与我们已有的真实值作比较。
边界损失:现在定义的边界为断面S13和断面S1的各点。
初始条件损失:定义断面S1的第一个点为初始条件值。
现在得到的最好的结果的lr设置为:0.00001,batch_size大小为64,隐藏层的层数为5,神经元数量为128。
在训练集训练完成后,然后在验证集上进行验证保存最优参数,然后在测试集上进行测试。目前得到的最优结果为:
从图中能够看出在拐点处拟合效果最差,该高的点预测值低,该低的点预测值高,经过排查目前边界损失值经过输出看到一直是0,也就是这一方面没有应用上,下周将继续对这方面进行改进。