【NeuIPS 2023】《Operator Learning with Neural Fields: Tackling PDEs on General Geometries》

本文链接：https://blog.csdn.net/dududutu/article/details/134634891

文章目录

Author：Sorbonne University

1）动机

$\quad$ 物理动力学建模需要学习函数空间之间的映射，这是描述和求解偏微分方程（PDEs）的关键步骤。在经典的方法中，偏微分方程由第一性原理导出，并利用微分算子来映射问题中涉及的变量的vector field。为了求解这些方程，需要采用了有限元、有限体积或光谱技术等数值方法，需要离散微分算子的空间和时间分量。
$\quad$ 基于计算机视觉和自然语言处理方面的成功，深度学习模型最近在物理建模中得到了关注。他们被应用于许多场景。最初，具有空间归纳偏差的神经网络结构，如用于regular grids的ConvNets和用于irregular meshes的GNN被探索。但是，些模型仅限于特定的mesh points，在推广到新的topologies时面临挑战（就是泛化性不好）。
$\quad$ The recent trend of neural operators解决了这些限制，通过建模一个在有限维函数空间之间的映射。Popular models like DeepONet 和 FNO 已经被应用于多个领域。但是，它们仍然有design rigidity，在训练和推理过程中依赖于固定的网格，这限制了他们在现实应用中的使用，比如irregular sampling grids和new geometries。《Fourier Neural Operator with Learned Deformations for PDEs on General Geometries》是FNO的一个变体，目的是为了更general geometries，但是这篇文章关注的是设计任务。
$\quad$ 为了克服上述限制，需要更灵活的方法来处理diverse geometries, metric spaces, irregular sampling grids, and sparse measurements。这篇文章提出了CORAL，一个COordinate-based model for opeRAtor Learning模型，通过利用INR来解决上述问题。CORAL将functions映射到紧凑的、低维的latent spaces，然后推断在隐空间中函数表征之间的映射。

2）相关工作

$\quad$ Mesh-based networks for physics。学习物理动力学的最初尝试主要围绕着卷积神经网络（CNNs）和图神经网络（GNNs）。这两种方式都是利用离散卷积从给定节点邻域中提取相关信息。CNN希望输入和输出是regular grid。GNN在irregular grid上工作。GNN通常在一个小半径内选择最近的邻居，这可能会引入对训练过程中看到的网格类型的偏差（就是说，GNN这种方式其实引入了网络类型的局部拓扑结构的归纳偏置，所以在测试时会受这种归纳偏置的影响）。在下面的章节中，作者展示了这种偏差可能会阻碍它们推广到具有不同节点位置或稀疏度级别的网格的能力。此外，它们比普通CNN需要更多的内存资源来存储节点的邻域，这限制了它们对复杂网格的部署。
$\quad$ Operator learning。算子学习是deep learning for physics中的一个 burgeoning（蓬勃发展的）领域，它专注于学习无限维函数之间的映射。两个prominent（杰出的）方法是DeepONet和FNO。DeepONet可以查询域中的任何坐标，以获取输出函数的值。但是它的缺点是，输入函数必须在一组predefined locations上进行观察，对于所有输入到网络中的观测结果都需要相同的observation grid（这里将predefined locations称作observation grid），以进行训练和测试。FNO是neural operators的一个实例，这是一类在spatial domain上集成内核的方法。由于这个操作可能很昂贵，FNO通过使用fast Fourier transform（FFT）将输入转换到spectral domain来解决这个问题。因此，FNO不能被用于不规则的网格。《Fourier Neural Operator with Learned Deformations for PDEs on General Geometries》这篇文章提出了一种FNO的扩展方法来处理更灵活的几何，但它是为设计问题量身定制的。总之，尽管有很多应用前景，但目前的operator方法仍然面临着对新的几何图形进行推断的限制。它们不能适应不断变化的observation grids（FNO）或仅限于固定的observation locations（DeepONet）。

DeepONet能处理irregular grid，但是它的observation locations是固定的。
FNO不能处理irregular grid，不能适应不同的mesh。

$\quad$ Spatial INRs。Spatial INRs是一类基于坐标的神经网络，它们将数据建模为空间位置的隐式函数的实现。一个INR可以在任何位置被查询，但是只能编码一个数据样本或函数。先前的工作使用元学习（《Fourier features let networks learn high-frequency functions in low dimensional domains》、《MetaSDF》），自编码器（《Learning implicit fields for generative shape modeling》、《Occupancy networks》）或调制/modulation（《Deepsdf》、《From data to functa》），通过让INR使用per-sample parameters解码各种函数来解决这个限制。INRs已经开始在物理学领域获得了广泛的关注，它们已经成功地用于spatio-temporal forecasting（《Continuous pde dynamics forecasting with implicit neural representations》）和reduced-order modeling（《Crom: Continuous reduced-order modeling of pdes using implicit neural representations》）。前面这个工作与本文很像，但是它是被设计用于预测的。此外，它的计算花销也比本文的要大得多。第二个工作旨用已知的偏微分方程来告知INRs，类似于PINN，而本文的方法完全是由数据驱动的，没有物理先验。

3）方法

3.1 问题描述
在这里插入图片描述
3.2 模型

3.3 Practical implementation: decoding by INR Modulation

在这里插入图片描述
3.4 训练

$\quad$ 为了获得一个能够快速编码新的输入的网络，作者采用了一种基于 CAVIA 【ICML 2019】的second-order meta-learning训练算法。相对于Reptile这样的first-order策略，二阶方法在outer loop中反向传播K个inner steps，消耗更多的内存因为我们需要计算梯度的梯度，但使用modulated SIREN会产生更好的重建结果。我们实验发现，对于大多数应用，使用3个inner steps（即，K=3）进行训练或测试，足以获得非常低的重建误差。