强登Nature！物理信息神经网络（PINN）一夜爆火

物理信息神经网络（PINN），近年来有多篇成果荣登nature期刊，成为2024年发论文热门方向。我整理了17种物理信息神经网络创新思路供大家参考，希望能给各位的学术研究提供一些帮助！

需要的同学添加公众号【沃的顶会】 回复 PINN17 即可全部领取

1、PINNs全面基准测试

PINNACLE: A COMPREHEN-SIVE BENCHMARKF PHYSICS-INFORMED NEURAL NETWORKS FOR SOLVING PDES

【内容简介】本研究介绍了PINNacle，这是一个旨在填补这一空白的基准测试工具。PINNacle提供了一个多样化的数据集，包括来自各个领域的20多种不同PDEs，涵盖了热传导、流体动力学、生物学和电磁学等。这些PDEs包含了现实世界问题固有的关键挑战，如复杂几何形状、多尺度现象、非线性和高维度。PINNacle还提供了一个用户友好的工具箱，集成了约10种最先进的PINN方法，用于系统评估和比较。我们已经对这些方法进行了广泛的实验，提供了关于它们优缺点的见解。除了提供一种标准化的性能评估手段外，PINNacle还提供了深入分析，以指导未来研究，特别是在领域分解方法和损失重新加权等方面，以处理多尺度问题和复杂几何形状。据我们所知，这是最大的具有多样性和全面评估的基准，无疑将促进PINNs的进一步研究。

2、多阶段神经网络：PINN实现接近机器精度

Multi-stage neural networks: Function approximator of machineprecision

【内容简介】深度学习技术越来越多地应用于科学问题，网络的精度至关重要。尽管神经网络被视为通用函数逼近器，但在实践中，即使使用大型网络和延长训练迭代次数，神经网络在减少预测误差方面仍然存在困难，甚至难以降低到。为了解决这个问题，我们开发了多阶段神经网络，将训练过程划分为不同的阶段，每个阶段使用一个新的网络，该网络被优化以适应前一阶段的残差。在连续的阶段中，残差幅度大大减小，并且与残差频率呈倒幂律关系。多阶段神经网络有效地缓解了普通神经网络所固有的光谱偏差，使其能够捕捉目标函数的高频特征。我们证明了，对于回归问题和物理信息神经网络,通过多阶段训练得到的预测误差几乎可以达到双精度浮点数的机器精度,并且可以在有限的迭代次数内实现。单个神经网络很少能够达到这种精度水平。

3、物理信息神经网络中的残差注意力

Residual-based attention in physics-informed neural networks

【内容简介】由于需要更高效和无缝整合物理模型和数据的物理信息神经网络(PINNs)的需求，我们提出了一个高效的无梯度加权方案，用于加速PINNs在动态或静态系统的收敛。这种简单而有效的注意力机制在边界函数的优化中无需额外的计算成本或对抗学习就能映射出问题区域。我们证明，这种通用方法的收敛速度比常规PINNs快一个数量级，并且在典型基准测试中的最小相对L2误差为0(10^-5)。该方法进一步在纳维-斯托克斯方程的逆问题解中进行了测试，在大脑周围血管空间中显著提高了预测精度。此外，每种情况下都进行了消融研究，以确定各个组成部分的贡献，从而增强了基础PINN配方。从收敛轨迹中明显的是优化器有效地从局部最小值或鞍点逃逸的能力，在具有高残差得分的挑战性域区域中尤为如此。我们认为，与精确的边界条件和其他模型重新参数化一起，这种注意力掩模可能是PINNs和神经算子快速训练的关键元素。

需要的同学添加公众号【沃的顶会】 回复 PINN17 即可全部领取

4、稀疏数据下的物理信息学习控制方程

Physics-informed learning of governing equations from scarcedata (Nature)

【内容简介】利用数据发现描述复杂物理系统行为的基本控制定律或方程可以极大地推动我们在各种科学和工程学科中对这些系统的建模、仿真和理解。这项工作介绍了一种新颖的方法，称为具有稀疏回归的物理信息神经网络，用于从稀缺且嘈杂的数据中发现非线性时空系统的控制偏微分方程。特别地，这种发现方法无缝地整合了深度神经网络的优势，用于丰富的表示学习、物理嵌入、自动微分和稀疏回归，以近似系统变量的解、计算必要的导数，以及识别形成方程结构和显式表达的关键导数项和参数。这种方法的功效和鲁棒性在不同数据稀缺性和噪声水平下的各种偏微分方程系统的发现中进行了数值和实验上的证明，考虑到不同的初始/边界条件。由此产生的计算框架展示了在大型和准确的数据集难以捕捉的实际应用中进行闭合形式模型发现的潜力。

5、物理信息硬约束下的混合专家训练框架

Scaling physics-informed hard constraints with mixture-of-experts (ICLR24)

【内容简介】在神经网络训练过程中引入已知的物理约束，如守恒定律，可以提高模拟物理动态的准确性、可靠性、收敛性和数据效率。虽然这些约束可以通过损失函数的惩罚来软化地引入，但最近在可微分物理学和优化方面的进展通过将偏微分方程约束优化作为神经网络中的单独层，进一步提升了性能，从而实现了对物理约束更严格的遵循。然而，硬性约束的引入会显著增加计算和内存成本，特别是对于复杂的动态系统而言。这是因为需要在表示空间和时间离散化的网格中解决大量点上的优化问题，从而大大增加了约束的复杂性。为了解决这一挑战，我们开发了一种可扩展的方法，使用混合专家模型()(MoE)来强制执行硬物理约束，这种方法可以与任何神经网络架构配合使用。我们的方法将约束强加在较小的分解域上，每个分解域由一个“专家”通过可微分优化来解决。

6、物理信息神经网络的预调节

Preconditioning for Physics-Informed Neural Networks

【内容简介】物理信息神经网络(PINNs)在解决各种偏微分方程(PDEs)方面显示出了前景。然而，训练中的病态问题负面影响了PINNs的收敛性和预测准确性，这进一步限制了它们的实际应用。在本文中，我们提出使用条件数作为一个指标来诊断和减轻PINNs中的病态问题。受传统数值分析的启发，其中条件数衡量敏感性和稳定性，我们强调其在PINNs训练动力学中的关键作用。我们证明了定理来揭示条件数与PINNs的误差控制和收敛性之间的关系。随后，我们提出了一个利用预处理来改善条件数的算法。对18个PDE问题的评估展示了我们方法的卓越性能。值得注意的是，在这些问题中的7个中，我们的方法将错误减少了一个数量级。这些实证发现验证了条件数在PINNs训练中的关键作用

需要的同学添加公众号【沃的顶会】 回复 PINN17 即可全部领取