学习周报：文献阅读+Fluent案例

与常见的“黑盒”和Lumped ML方法相比，开发的CPNN直接将物理原理集成到其架构中。此外，CPNN设计用于过程解析和算子学习（operator learning），使其能够预测不同盆地几何形状和负载条件下的空间流体动力学和PM浓度分布(即轮廓)。
与CFD模拟相比，所开发的CPNN模型具有显着更高的计算效率(约毫秒)，同时显示出强大的预测能力。
于10000个测试用例的流域水动力学预测，训练后的CPNN模型在66.4%的情况下达到R2高于0.8，在89.2%的情况下达到R2 高于0.4，CPNN在预测流域PM浓度方面也表现出类似的性能。

创新点：

该研究可视化了流域水动力学和PM浓度对流域几何形状和负荷条件的依赖关系，为优化流域配置提供了有价值的见解。最后，讨论了基于web的应用程序(例如deepxform)作为开发的CPNN模型的用户友好界面的潜力和好处。这项研究代表了实现实时高保真水基础设施规划、设计、优化和监管的第一步。

DeepONet简介：

DeepONet被开发用于学习函数空间之间映射的非线性算子，基于算子的通用逼近定理

如上图a所示，DeepONet由两个子组件神经网络组成，即分支网络和主干网络。中继网以连续坐标T为输入，输出一个特征张量（T）。分支网络获取PDE架构的参数（如空间变化源的一组离散表示、几何图形等)，输出特征张量(B(xB))。DeepONets的最终输出是B和T之间的Hadamard积(即元素积)的总和，如下式：

在该式子中，XT和XB为主干网络T和分支网络B提供了广义的输入向量；⊙表示Hadamard积，对所有特征进行∑求和，b为偏置向量。

DeepONet通常用于学习操作于连续函数的算子，如建模不定导数算子，求解具有空间变化热源的PDE系统，以及解决时变边界条件。DeepONet首先离散连续函数，通常通过点采样或利用已经离散的数据，例如：传热中的功率图。

分支网络处理这些离散的表示，将它们编码成潜在向量。然后，DeepONet通过Hadamard积考虑分支网络和主干网络潜在向量之间的交互和耦合。这样的架构有几个独特的优势。首先，分支网络和主干网络可以采用各种神经网络架构，如cnn或图神经网络(gnn)，只要它们在Hadamard积步骤的潜在向量中具有相同的最后一个维度。此外，由于模型输入的数据(例如:XT和XB）不需要共享相同的数据布局，使得PINN和DeepONet区分开来。在PINN中，PDE参数和连续坐标在通过神经网络之前被连接到单个张量中。在通过神经网络之前。DeepONet在网络架构和数据布局方面的独特灵活性可以显著减少计算工作量和内存占用。

CPNN简介：

通过两种SCIML方法的结合（PINN和DeepONet）引入了一个新方法，称为CPINN，架构如下图所示：

架构中参与的内容：

DeepONet作为盆地几何和加载参数p和连续坐标q的有效特征编码器；
PINN作为物理约束的解码器。通过自动微分计算空间导数。

其中：λbc为CFD所提供的数据；L为总的损失函数；Lbc、Ldata、Lf为边界条件；λf、λdata为权重参数。

其余个别的SciML架构存在以下问题：

适应变化的盆地几何形状增加了复杂性，
依赖于网格尺寸，例如基于cnn的模型，本研究没有考虑这些替代方案。

由于PINN和DeepONet在设计上都是与分辨率无关和几何无关的(即明确跟踪连续坐标)，这对于学习不同盆地几何形状的解决方案非常重要。

CPNN可以看作是一个带有DeepONet作为特征编码器的PINN;DeepONet将PDE系统的输入参数和连续坐标编码成一个潜在空间，然后PINN对这个潜在空间进行处理，如下式定义：

（其中：H作为PINN中的隐藏层，E为编码层）

每层之间，双曲正切函数(即Tan h)作为激活函数，CPINN它利用了DeepONet高效的参数编码能力，这对于减少计算费用至关重要，特别是在大型机器学习任务中。解决了本研究中PDE系统输入参数与连续坐标之间固有的复杂耦合问题，这需要更多的全连接神经网络(FCNN)层来充分解决。

使用CPNN学习流域流体力学和颗粒物的运输轨迹

在实现CPNN学习流域流体动力学和PM输运的过程中，第一步是准备CFD数据库(由basinFoam生成)。将总数为M的CFD数据库随机分成训练用例、验证用例和测试用例三个子集，分割比例为8:1:1。验证用例用于训练正则化(即，通过模型检查点提前停止)和微调超参数,而测试用例则保留用于评估模型对“未知”数据的预测性能。在此之后，与盆地几何和加载条件相关的参数p和连续坐标q经历了标准化过程。这涉及到通过去除平均值和缩放来取得单位方差的数据中心值。

且对于连续坐标q，保留其平均值是必不可少的，应仅采用方差缩放来保留其平均值。随后，标准化的p和q将被重塑为高维张量。

在模型训练过程中，采用mini-batch方法达到：

减少GPU上的内存占用(例如，整个训练批是一个大约4.8亿的矩阵大小)，
通过训练数据的子集(mini-batch)而不是整个批来估计梯度来加速ML训练，
引入随机梯度下降精神的正则化形式，可以提高模型的泛化性能。

在这个mini-batch方法中，在每个训练迭代(epoch)中，从训练数据集中随机选择总共的一个操作点(操作点)和一个操作点(操作点)来生成一个mini-batch。然后将这个小批量输入到CPNN中进行处理和反向传播。（详细解释可见文献）

CPNN的损失函数计算一般遵循PINN的方法，该方法结合了数据驱动和物理通知的损失分量，如下式所示：

结果展示：

（1）三种方法的比较：

每个模型都包含相当数量的可训练参数(大约80万个)，这些模型都是使用Adam优化算法进行20000次迭代训练的，采用相同的学习配置和批处理大小。在模型训练期间，通过模型检查点采用早期停止技术，提供一种正则化形式，防止ML模型过拟合。通过模型检查点，采用观察到最小验证误差的ML模型参数作为学习的模型参数，而不是训练过程结束时的模型参数。

需要注意的是，它们的配置还没有被优化以确保一致的比较。此外，PINN和CPNN中的物理信息损失以便与DeepONet进行一致的比较。

上图表明，对于流体力学的量u、v和颗粒物的输运情况c，INN和CPNN表现出最低的训练损失和验证损失，损失轨迹相似。相比之下，DeepONet表现出更高的训练和验证损失，比PINN和CPNN大2.4 - 4.3倍。这一结果表明，与DeepONet相比，PINN和CPNN在预测流体力学和PM输运方面表现出更强的表达能力和适用性。

这些结果突出了利用FCNN层来表达盆地几何形状与加载参数p和连续坐标q之间的非线性相互作用和耦合的意义。在DeepONet中，这两个参数组通过单独的神经网络独立处理，它们之间的相互作用仅在Hadamard乘积和求和的最终运算中考虑。虽然DeepONet架构对于解决方案主要依赖于p参数的场景(例如，反导问题)是有效的，但它可能缺乏考虑连续坐标引入的非线性效应所需的表达能力。在本研究的流域流体动力学和颗粒物质运输任务中，解决方案表现出更复杂的结构，p和q都携带了精确表示非线性映射所必需的关键信息。事实上，通过一系列FCNN层，允许这两个参数组的影响相互作用并共同考虑，可以显著提高表达性和泛化性，如上图中的PINN和CPNN所示。

相反，如果像在PINN中那样，直接将p和q参数组组合起来，通过简单的特征拼接将其输入到FCNN中，则会导致计算效率降低。

下图提供了DeepONet, PINN和CPNN的训练速度和视频随机存取存储器(VRAM)使用情况的见解。训练速度是以每秒的迭代次数来衡量的。虽然PINN展示了它的学习能力，但与DeepONet和CPNN相比，它的训练速度大约慢了2倍，内存占用也大了2倍。这种差异背后的原因在于FCNN生成输入张量的方式。

总体而言，下图强调了所提出的CPNN架构有效地利用了DeepONet和PINN的优势，产生了更高的预测能力，提高了计算效率，并减少了VRAM占用。

（2）抽样方式不同所存在的影响：

（下图：抽样方法与验证误差分布的比较）

这些结果表明，均匀采样和LHS采样策略在流域水动力学和颗粒物轨迹预测的溶液采样中更为有效。

且由其他结果得知，隐藏神经元的最佳范围在每层500到600之间。CPNN模型倾向于选择较浅的编码层和较深的FCNN层。发现单层编码足够，而FCNN的最佳层数是8层左右。最优的lr值在5×10−4左右。观察到一个相对较大的衰减率 0.82 (PyTorch默认值为0.1)可以产生更好的模型训练。

（3）对CPNN模型预测能力和泛化能力的评价：

（黑色对角线带浅红色带表示±10%范围内的完美预测）

基于超参数优化确定的最优结构和训练配置，检验了CPNN模型的预测能力。上图展示了开发的CPNN模型在训练数据集、验证数据集和测试数据集上的性能。CPNN在预测流域水动力学，即速度分量u和v方面具有很高的预测能力。值得注意的是，两个速度分量的R2值是可比较的，没有显著差异，这表明在模型训练期间，u和v的MSE损失汇总为单个损失不会引入偏差。此外，所建立的CPNN模型具有良好的泛化性。从训练数据集和验证数据集到测试数据集，R2值只显示出轻微的减少。当训练数据集用于超参数优化时，测试数据集在训练过程中没有被CPNN模型所预测到。因此，它可以用来衡量模型的可泛化性。这些结果验证了CPNN模型在准确预测流域水动力学方面的有效性及其推广到未知数据的能力。

CPNN预测结果与CFD模拟的结果对比：

在所有测试用例中，CPNN模型在大约66.4%的用例中表现更好，对于这些情况，CPNN模型的预测与CFD解决方案非常吻合，除了入口附近的区域外，相对误差通常小于2%。

大约21.8%属于CPNN模型表现出中等预测能力的范畴，在这些情况下，CPNN模型正确地预测了解的一般结构，但遗漏了一些流程细节。误差主要集中在入口气流射流剪切层和射流撞击区附近。这可能是由于在这些区域，气流具有明显的空间梯度，即使预测的射流轨迹有很小的偏差，也会导致CPNN预测与CFD解决方案之间存在显著差异。此外，在这些情况下，CPNN模型的预测比CFD解决方案更不平滑。

在11.8%的测试用例中，CPNN模型的预测能力较低，在这些情况下，与CFD预测相比，CPNN模型预测的流型不同。如下图所示：

CFD解显示水射流右转，在大约一半的流域长度处重新附着在流域边界上，分岔成两个射流，最终从出口离开系统。相比之下，CPNN模型显示了一种完全不同的流动结构，其中进口射流直接穿过整个系统长度并撞击出口。因此，CPNN模型在这些区域引入了显著的差异，误差一般超过10%。进一步的研究表明，CPNN模型预测能力特别低的情况在流域几何结构方面不是随机的，但它们表现出一定的相似性。

CPNN模型有效地捕获了这些潜在的模式和盆地PM运输和命运的动态，与CFD解决方案相比，相对预测误差通常小于10%。空间误差分布轮廓表明，较高的误差集中在进气道附近，特别是沿进气道射流方向。相比之下，盆地出口附近的误差通常较小，通常小于5%。

现阶段CPNN遇到的挑战：

在触发水流分叉并导致双峰解的盆地的情况中，运用CPNN是会出现预测偏差很大的情况，有几种可能的补救措施可以解决这一挑战:

考虑初始条件。这种方法虽然在理论上是合理的，但在实践中实施起来可能具有挑战性，因为准确地描述系统的初始条件可能很困难。
开发一个伴随的ML模型，以提醒用户双模态解决方案的存在以及由CPNN生成的非物理解决方案的潜在风险。
通过结合额外的变分架构，如变分自编码器(VAEs)，实现CPNN的概率预测而不是确定性预测。

文章结论：

所提出的CPNN结构更适合于学习流域流体动力学和PM轨迹。与DeepONet相比，CPNN中额外的FCNN层为捕获几何和加载参数以及连续坐标参数之间的相互作用提供了足够的分辨率。增强后的模型表达能力增强，验证损失降低了2倍。与PINN相比，在CPNN中使用DeepONet编码器在构建输入时具有更高的灵活性，并消除了数据冗余，从而提高了计算性能(速度提高了2倍)。对于考虑的盆地情况，超参数优化表明，单编码层是足够的，CPNN不会从额外的编码层中获益。
所开发的CPNN模型对超过89.2%的10,000个测试用例达到了中等和较高的预测能力，在这些情况下，CPNN可以很好地预测流域流体动力学和PM命运，相对误差在10%以下，如图8所示。预测误差主要出现在入口射流切变层附近，该区域流速和PM浓度具有较大的空间梯度。CPNN在10.8%的测试用例中显示出较低的预测能力。在这些情况下，CPNN产生的流动配置与参考CFD解决方案不同。
所开发的CPNN模型能够实现有效的灵敏度映射，否则传统的cfd伴随方法实际上是不可能的(例如，高计算成本和大内存占用)。盆地水动力和PM浓度分布与盆地几何形状和加载参数有复杂的依赖关系。流域几何参数的变化会导致流型和PM输运的结构变化，这种系统输运命运动力学的非线性响应可以对现有的经验法则设计方法和我们的工程直觉提出重大挑战。开发的CPNN可以为这些系统响应提供有效的评估和可视化，并提供可以帮助设计工程师(和进化算法)优化系统几何以获得更高成本效益的见解。
湍流运输和PM命运的现场解析ML可能比常见的集中ML预测更具挑战性。特别是，盆地中多模态流动解和耦合PM命运的存在会“混淆”有监督的ML模型学习，并导致非物理模型预测。

Fluent案例：飞行器外气动可压缩流场仿真

几何模型描述

本周的案例为飞行器外气动可压缩流场仿真，是弦长为1m的NACA0012机翼模型在马赫数（ma=0.7）的情况下，进行模拟仿真的案例。通过仿真模拟来了解其在飞行中的一个升力阻力，攻角为1.55° ，对于以后在计算外流场的特征尺寸和选取计算域的关系中可以参考该案例的方法。在本案例中，上游去区域为20m；下游区域为24m，上下尺度为60m的一个计算空间。

外气动参数（边界条件）为：

几何模型如图所示：

最小特征区域为：

即在网格划分时，若想要有更好的精度，则需取最小特征尺度的1/2来作为网格单元的尺寸。

网格划分部分：

选择添加局部尺寸，对翼型上下面进行尺寸划分，使用face size，尺寸划分为0.015：

对第二个区域进行局部尺寸添加，选择临近度proximity，对尾部进行尺寸加密；选用临近度条件可以用于调整窄曲面来进行尺寸加密.单元网格填充层数设置为2，保证其有两层网格，最小值改为0.00035，作用于边界（edge）：

设定其最大单元网格尺寸为0.5m，曲率法相角为12，尺寸函数选定为曲率,网格生成如下图所示：

修改其边界条件，将SYM-1.SYM-2的区域条件设定为symmetry，对称面来减少计算量。

划分边界层，选用uniform方法，使其均匀划分，可以很好的控制其Y+值。具体参数如下所示：

体网格划分如下所示：

求解器设置：

由于是可压缩气体，故勾选能量方程，粘性模型选用k-omega，SST模型，具体参数如下：

流体材料设置：

单元区域条件中，工作压力设置为0，由经验可知，对于可压缩的计算工作压力应为0。

设置流体条件，其压力远场设置如下图所示；通过设置表达式来进行便捷操作：

最终，压力远场参数如下所示：

求解方式：

使用混合初始化，而后进行500步迭代，结果如下：

阻力：

升力：

压力分布云图：

速度分布（马赫数）：

等值面上的压力差值：

与实验数据的对比：

理论学习部分：散度、旋度以及在流场中应用

总结

通过本周的学习，通过对与文献的理解，明白了PINN与其他深度学习的方式进行结合可以在某些方面得到更符合仿真结果的预测数据，可知当PINN与其余方法结合将有更大的空间。Fluent案例中，了解到如何采用特征尺度来对网格进行划分，关于理论学习部分，还需加强流体力学理论的学习。

2301_79714145

关注

22
点赞
踩
33

收藏

觉得还不错? 一键收藏
0
评论
学习周报：文献阅读+Fluent案例

本周阅读了一篇使用DeepONet和PINN结合的新型预测模型CPNN的介绍讲解，文章中展现了三种预测模型准确度的对比和CPNN与CFD仿真中的结果对比。Fluent案例为飞行器外气动可压缩流场仿真，对于以后在计算外流场的特征尺寸和选取计算域的关系中可以参考该案例的方法。文献阅读部分：尽管数十年来CFD在各种水处理系统(如澄清池、活性污泥工艺、臭氧接触器等)中得到了发展和演示，但它仍然主要用于学术研究，在土木和环境工程实践中的应用有限。这种限制是由其较高的计算成本和对专业用户技能的需求造成的。
复制链接

扫一扫