xuelanghanbao的博客

要求解的 PDE 涉及两部分信息：一是指定 PDE 数学形式的符号部分，另一部分是数字部分，包括 PDE 系数、初始值和边界值等。典型的神经算子如傅里叶神经算子（FNO）和 DeepONet 用于处理特定形式的偏微分方程，只需将数值信息作为网络输入。然而，为了构建可推广到不同偏微分方程的基础模型，符号信息必须无缝集成。朝着这个方向的一些现有方法采用了语言模型，其中偏微分方程的数学表达式作为输入。这些方法可能难以完全捕获符号信息和数字信息之间的复杂交互。其他策略避免显式输入 PDE 形式，而是选择将其隐式编码

这篇论文讨论了神经微分算子（DeepONets）在外推情境下的可靠性问题，即当输入数据超出训练集分布范围时，如何提高模型的预测准确性。作者首先明确了神经算子外推的定义，并针对外推问题，提出了两种主要方法：一是利用系统的偏微分方程（PDEs）信息进行微调，二是结合稀疏的新观测数据进行微调或采用多保真度学习方法。这些方法旨在通过额外信息来减少外推误差，提高模型在未知数据上的预测可靠性。

本文提出了 VLTPINN 来求解线性变换变量的 DE 系统，而不是原始变量。在对 VLT 对 NN 初始化和训练的影响进行粗略的先验分析后，确定了确定 VLT 参数的三个原则：因变量的幅度归一化（原则 1）、自变量的局部归一化（原则 2）以及适当的缩放反演问题中与物理相关的参数（原则 3）。前两个原则基于归一化原则 (PON) 以及 DE 系统与神经网络偏好的更好匹配：原则 1 可以通过引入适当大小的损失梯度来有利于训练，而原则 2 则导致狭窄的复杂薄层区间与激活函数的线性区间更好的匹配。

APINN 的模型可参数化如下：考虑一个共享网络 h:Rd→RHh : \mathbb R^d → \mathbb R^Hh:Rd→RH（蓝色），其中 ddd 是输入维度，HHH 是隐藏维度，mmm 表示子网络 (Ei(x))i=1m(E_i(x))^m_{i=1}(Ei​(x))i=1m​（红色），其中每个 Ei:RH→RE_i : \mathbb R^H → \mathbb REi​:RH→R，以及门控网络 G:Rd→ΔmG : \mathbb R^d → \Delta mG:Rd→Δm（绿色），其中

在涉及偏微分方程长时间积分的建模问题中，大量的时空自由度导致训练 PINN 所需的数据量很大。这将要求 PINN 解决长期的物理问题，而这在计算上可能是令人望而却步的。为此，本文提出了一种准现实物理信息神经网络（PPINN），将一个长期问题分解为许多独立的短期问题，并由廉价/快速的粗粒度（CG）求解器监督，该求解器受到原始并行算法和监督并行算法的启发。由于训练 DNN 的计算成本随着数据集的大小而快速增加，因此该 PPINN 框架能够最大限度地利用小数据集训练神经网络的高计算效率的优势。

在 PINN 中，一个偏微分方程问题的求解就需要一次对神经网络的优化才能获得，这使得求解 PDE 问题的成本可能很高。传统的 PINN 训练需要消耗 10000 个 epoch，其成本通常远高于传统的数值方法，这使得除了求解奇异方程之外，将 PINN 用于实际应用的吸引力较小。PINN 成本高的主要原因是收敛所需的 epoch 数量，特别是对于复杂的函数解决方案。其中一些限制可归因于神经网络的低频偏差。随机初始化的多层感知器需要一段时间的训练才能找到通往潜在局部最小值（有时是数千个epoch）的路径。

本文从牛顿下降法和自然梯度法获得灵感，提出使用能量自然梯度方法来对神经网络参数进行优化，并在多个样例上取得了显著的精度改善。

本文以一维波动方程为例，对PINN训练过程中的损失下降情况进行了实验观察，发现训练成功的样例中PDE损失项都出现了先上升再下降的现象。随后作者提出，应当在PINN训练早期减少对PDE损失项的敏感度，于是作者使用log函数以及经过归一化的动态权重 来实现了这一想法，并在多个不同样例上取得了显著的改善。

本文针对变系数问题提出了VC-PINN结构，并给出了离散形式下的正反问题定义。通过丰富的实验证实了VC-PINN在可变系数问题上的出色表现。同时对ResNet结构与传统FNN进行对比，展示了其在解决梯度消失问题以及统一线性与非线性上的必要性。文章中作者还针对实验中出现的训练失败现象进行了更加深入的研究，并根据实验结果推测系数函数在区间上的累计凸性会影响训练结果的准确性。

本文针对重要性采样方法，提出了基于动态网格的权重估计（DMWE），通过插值来计算样本权重。

本文针对PDE求解问题，通过设计多级神经网络结构，来让后续网络层学习先前网络层的误差，并设计了对应的两阶段训练方式。最后通过数值实验验证了其有效性。

本文相比FBPINN更进一步，模仿传统DDM方法，通过多级域分解来实现更复杂的网络结构。感觉做法还是很好理解的，但可能是由于我对经典DDM不太熟悉，所以不太能理解作者的动机。而且这代码怎么这么抽象，看得我头疼，大概是我不熟悉jax的原因？

顺序学习已经被证明是解决复杂非线性系统中 PINN 缺点的有效工具。然而，它大大增加了计算成本，因为它引入了更多的损失项，并且需要在一组时间间隔内训练多个网络。这可能会导致训练缓慢，并限制此类策略在使用 PINN 解决现实世界复杂问题时的应用。此外，虽然一些工作利用了知识可转移性（例如，通过利用 TL 和类似方法）来提高 PINN 的训练和实现效率，但迄今为止，还没有关于通过知识迁移来降低计算成本和提高顺序学习策略的适应性进行显着的研究。

这篇文章提出了一种类似有限元的窗口函数，将不同子域重叠部分加权相加，避免了在损失中添加界面条件的软约束项。感觉还是挺有意思的，但实现难度也可以想象，目前官方代码只实现了N维矩形区域的域分解方法，对于其他形状还没有支持。

这篇文章从NTK的角度出发，首先证明了PINN中NTK的性质没有发生变化，随后根据分析过程中发现的不同损失项之间的NTK特征值具有数量级上的差异这一特性，提出应该为不同损失项添加权重。整个过程非常自然，并且包含了大量的数学推导。虽然是基于泊松方程以及单隐层神经网络做的推导，但作者很贴心地附上了多隐层神经网络的实验结果，利用实验表明上述结论大概率适用于多隐层神经网络。

作者通过convection和reaction-diffusion两个样例展示了PINN在简单情况下的故障问题，并通过可视化损失景观，认为使用软约束会导致优化困难。后续作者使用课程学习、序列到序列方法证明上述问题并不是由于神经网络表达能力不足导致的。

文中对现有的域分解和因果加权方法的描述还是很详细的。文中也提出的更泛化的方法。

周期性边界条件广泛存在于各个领域的计算科学中，特别是当物理域沿一个或多个方向无限或均匀时，数值模拟中通常只计算一个单元，并对单元边界施加周期性边界条件。对于经典数值方法，解决此类问题的另一种常用技术是用傅里叶展开式来表达未知场函数，从而产生所谓的傅里叶谱或伪谱方法 。

这篇文章弥补了之前FI-PINN方法在采样点数量上无法控制的不足，同时，引入子集模拟方法来估计失败概率。通过实验对比也可以看出效果确实比原来更好了。

这篇文章通过将求解域划分为可靠域、失败域两个子域建立了FI-PINN体系。并通过截断高斯分布的叠加来对最优采样分布进行近似，得到SAIS方法。

本文对基于PINN方法的NS方程数值模拟进行了详细的实验。文章对比了VP和VV两种不同的方程形式对PINN结果的影响，对于小型网络，VP 公式优于 VV 形式，而 VV-NSFnet 在使用大型网络时能获得更准确的解，这一现象也是很有意思。同时，文章也对动态权重进行了试验，并体现出了其有效性。文章在二维稳态 Kovasznay 流、二维非稳态圆柱尾流、三维非稳态 Beltrami 流、长时间域以及大空间域上的试验充分展示了PINN在NS方程上的潜力。

这篇文章利用传统的有限元方法对PDE进行了分析，并认为平方损失在面对病态问题时会抑制迭代求解器的收敛性。于是作者通过将原问题转换为鞍点问题，构造了一个在纳什均衡点处与原问题等价的博弈情境，并利用ACGD来进行优化。单从发布时间上看，这篇文章似乎比IsL2L^2L2更早意识到平方损失所带来的问题，但个人感觉理论方面的证明有所欠缺，比如纳什均衡点的证明、A为病态矩阵时的具体分析等。

这篇文章希望利用cosνx的激活函数形式来提高网络初始频率，以使得网络对于高频数据能有更好的近似能力。文中提出，可以训练一个单层神经网络，并利用其损失函数来获得数据的真实频率。

这篇文章尝试将更多先验知识加入到网络的训练过程中，这个思路我觉得是可取的。但本文选择加入残差的梯度，感觉还是过于直接了。因为理论上，我们不光知道残差全为零残差的任意阶导数都为零，难道要把这些全加到网络的损失函数里去吗？

本文根据PDE的不同解法中出现的共同现象，即正确解从初始或边界点传播至内部点这一现象，提出了传播假设，并针对出现传播失败现象的原因进行了探讨。想法简洁且清晰，看完让我有种“之前怎么没想到”的感觉。随后作者根据传播失败的可能原因，提出了R3采样准则，并给出了一个简单的实现方法。最后与多个基线方法进行了比较，在多个任务上都取得了不错的效果。

这篇文章从HJB方程的稳定性出发，证明了对于高维HJB方程，LpL^pLp范数只有当ppp足够大时才能确保神经网络近似解是逼近真实解的。随后文章提出使用L∞L ^ \inftyL∞范数来训练神经网络，并用对抗的思想，来近似L∞L ^ \inftyL∞范数。这篇文章为PINN误差分析提供了新的视角，证明过程十分充足，附录有十多页的证明，可以仔细看看。相关链接：L2L^2L2。

从完整算法可以看出，本文在实现上相比DAS-PINN唯一的差别就是KRnet部分的损失函数。DAS-PINN中使用KRnet来进行采样，但采样的pdf依然是人为指定的；而AAS则使用对抗的思想，相当于由loss给出一个评判标准，要求网络自己去寻找一个最优的pdf。这个想法还是挺有意思的，证明也比较完备，感兴趣可以阅读原文。但是由于论文刚刚挂在arXiv上，因此还没有公开代码，我将DAS中KRnet部分损失函数改为文中形式进行试验后，结果并不稳定，等后续放出代码后我会再对比一下。

论文阅读：DAS-PINNs A deep adaptive sampling method for solving high-dimensional partial differential equations

PINN的训练过程并不遵守实际物理过程，内点残差并不能真实反映网络的状况。于是作者通过加权的方式，使得PINN可以根据不同时间片的残差来自动调整训练的时间区域。目前也有一些基于时间半离散或者分片递推的方式，相比这些方式，本文的方法可以直接得到PDE在整个时空域上的解，更加方便。

在监督学习中，数据集在训练期间是固定的，但在PINNs中，我们可以在任何位置选择残差点。因此，在每次优化迭代中，我们可以选择一组新的残差点，而不是在训练期间使用相同的残差点，这一点在DeepXDE中首次强调。虽然这种策略已经在一些工作中使用，但它还没有被系统地测试。等距均匀网格;均匀随机采样;LHS;Sobol序列;Halton序列;Hammersley序列。基于均匀点的重采样（Random-R）;基于残差的贪婪的自适应细化（RAR-G）；基于残差的适应性分布(RAD)；

DeepXDE论文阅读