FOURIER NEURAL OPERATOR FOR PARAMETRIC PARTIAL DIFFERENTIAL EQUATIONS

最新推荐文章于 2024-10-10 08:09:04 发布

通街市密人有

最新推荐文章于 2024-10-10 08:09:04 发布

阅读量1.5k

点赞数 21

分类专栏： CT重建 BP 文章标签：深度学习人工智能计算机视觉

本文链接：https://blog.csdn.net/weixin_43790925/article/details/139125203

版权

参数偏微分方程的傅里叶神经算子

在这里插入图片描述

论文链接：https://arxiv.org/abs/2010.08895

项目链接：https://github.com/neuraloperator/neuraloperator

作者博客：https://zongyi-li.github.io/blog/2020/fourier-pde/

参数偏微分方程的傅里叶神经算子

ABSTRACT

神经网络的经典发展主要集中在有限维欧几里得空间之间的学习映射。最近，这被推广到学习函数空间之间映射的神经算子。对于偏微分方程，神经算子直接学习从任意函数参数依赖到解的映射。因此，他们学习了整个偏微分方程家族，而不像经典方法只解一个方程实例。在这项工作中，我们通过直接在傅里叶空间中参数化积分核来制定一个新的神经算子，允许一个表达和高效的架构。我们对Burgers方程、Darcy流和Navier-Stokes方程进行了实验。傅里叶神经算子是第一个成功模拟zero-shot超分辨率湍流的基于ML的方法。与传统的PDE求解器相比，它的速度快了三个数量级。此外，在固定分辨率下，与以往基于学习的求解器相比，它具有更高的精度。

1 INTRODUCTION

科学和工程中的许多问题涉及到对某些参数的不同值反复求解复杂的偏微分方程系统。例子出现在分子动力学、微观力学和湍流中。通常这样的系统需要精细的离散化，以便捕捉被建模的现象。因此，传统的数值求解器速度很慢，有时效率低下。例如，当设计诸如翼型之类的材料时，需要解决相关的逆问题，其中需要对正演模型进行数千次评估。一种快速的方法可以使这类问题变得可行。

传统解决方案vs.数据驱动的方法。传统的求解方法如有限元法(FEM)和有限差分法(FDM)是通过对空间进行离散来求解方程的。因此，它们对分辨率进行了权衡：粗网格速度快，但精度较低；精细网格是精确的，但速度很慢。如上所述，复杂的PDE系统通常需要非常精细的离散化，因此对于传统的求解器来说非常具有挑战性和耗时。另一方面，数据驱动的方法可以直接从数据中学习方程族的轨迹。因此，基于学习的方法可以比传统的求解器快几个数量级。

机器学习方法可能是科学学科革命的关键，因为它提供了近似或增强传统解决方案的快速解决方案(Raissi等人，2019;Jiang等，2020;Greenfeld等人，2019;Kochkov et al, 2021)。然而，经典的神经网络在有限维空间之间映射，因此只能学习与特定离散化相关的解决方案。这通常是实际应用的限制，因此需要发展网格不变神经网络。我们首先概述了两种主流的基于神经网络的偏微分方程求解方法——有限维算子和神经有限元法。

有限维空间算子。这些方法将解算子参数化为有限维欧几里得空间之间的深度卷积神经网络(Guo et al .， 2016);朱& Zabaras (2018);Adler & Oktem (2017);Bhatnagar等人(2019);Khoo等人(2017)。根据定义，这些方法依赖于网格，并且需要针对不同的分辨率和离散化进行修改和调整，以实现一致的误差(如果可能的话)。此外，这些方法仅限于训练数据的离散化大小和几何形状，因此不可能在域中的新点查询解。相反，对于我们的方法，我们展示了误差对网格分辨率的不变性，以及在网格之间传递解决方案的能力。

Neural-FEM。第二种方法直接将解函数参数化为神经网络(E & Yu, 2018;Raissi等人，2019;Bar & Sochen, 2019;Smith等人，2020;Pan & Duraisamy, 2020)。此方法旨在为PDE的一个特定实例建模，而不是为解决方案算子建模。它是网格无关的和准确的，但对于任何给定的新的函数参数/系数实例，它需要训练一个新的神经网络。该方法与有限元等经典方法非常相似，用神经网络空间代替局部基函数的有限集的线性跨度。神经有限元法与经典方法存在着相同的计算问题:需要对每一个新实例求解优化问题。此外，该方法仅限于底层PDE已知的设置。

神经算子。最近，一项新的研究提出了用神经网络学习无网格、无限维算子(Lu et al, 2019;Bhattacharya et al .， 2020;尼尔森&斯图尔特，2020;李等，2020b;a;Patel et al, 2021)。神经算子通过产生一组可用于不同离散化的网络参数，弥补了上述有限维算子方法的网格依赖性质。它具有在网格之间传递解的能力。此外，神经算子只需要训练一次。获得一个新的参数实例的解只需要网络的前向传递，从而减轻了神经有限元方法中产生的主要计算问题。最后，神经算子不需要底层PDE的知识，只需要数据。到目前为止，由于计算积分算子的成本，神经算子还没有产生有效的数值算法，可以在有限维环境中与卷积或循环神经网络的成功相媲美。通过快速傅里叶变换，我们的工作减轻了这个问题。

傅里叶变换。傅里叶变换经常用于求解微分方程的频谱方法，因为微分相当于傅里叶域中的乘法。傅里叶变换在深度学习的发展中也发挥了重要作用。理论上，它们出现在普遍近似定理的证明中(Hornik等人，1989)，经验上，它们已被用于加速卷积神经网络(Mathieu等人，2013)。涉及傅里叶变换或使用正弦激活函数的神经网络架构也被提出和研究(Bengio等人，2007;Mingo et al, 2004;Sitzmann et al, 2020)。最近，一些谱方法已经扩展到神经网络(Fan et al .，20119a;b;Kashinath et al, 2020)。在这些工作的基础上，我们提出了一个直接在傅里叶空间中定义的神经算子体系结构，具有准线性时间复杂度和最先进的近似能力。

在这里插入图片描述

我们的贡献。我们引入傅里叶神经算子，这是一种新的深度学习架构，能够学习无穷维函数空间之间的映射;积分算子被限制为卷积，并通过傅里叶域中的线性变换实例化。

傅里叶神经算子是第一个学习湍流状态下Navier-Stokes方程家族的分辨率不变解算子的工作，其中以前基于图的神经算子不收敛。
通过构造，该方法共享相同的学习网络参数，而不管在输入和输出空间上使用的离散化。它可以实现零拍摄超分辨率:在较低分辨率上训练，直接在较高分辨率上评估，如图1所示。
所提出的方法始终优于所有现有的深度学习方法，即使将分辨率固定为64×64。它在Burgers方程上的错误率降低了30%，在Darcy Flow上降低了60%，在Navier Stokes(黏度ν = 1e−4的湍流状态)上降低了30%。在学习整个时间序列的映射时，当黏度ν = 1e−3时，该方法的误差< 1%，当黏度ν = 1e−4时，该方法的误差为8%。
在256 × 256网格上，傅里叶神经算子的推理时间仅为0.05 s，而用于求解Navier-Stokes的伪谱方法的推理时间为2.20 s。尽管该方法具有巨大的速度优势，但在下游应用(如解决Bayesian逆问题)中使用时，其精度不会下降，如图6所示。

在这里插入图片描述

我们观察到，所提出的框架可以近似于高度非线性、高频模式和缓慢能量衰减的偏微分方程中的复杂算子上升。神经算子的力量来自于线性、全局积分算子(通过傅里叶变换)和非线性、局部激活函数的结合。类似于标准神经网络通过结合线性乘法和非线性激活来近似高度非线性函数的方式，所提出的神经算子可以近似高度非线性算子。

2 LEARNING OPERATORS

我们的方法从观察到的输入输出对的有限集合中学习两个无限维空间之间的映射。设 $D\subset\mathbb{R}^d$ 为有界开集，且 $\mathcal{A}=\mathcal{A}(D;\mathbb{R}^{d_a})$ ， $U=\mathcal{U}(D;\mathbb{R}^{d_u})$ 是分别取 $\mathbb{R}^{d_a}$ 和 $\mathbb{R}^{d_u}$ 值的函数的可分离巴拿赫空间。此外，让 $G^\dagger:\mathcal{A}\to\mathcal{U}$ 是一个(典型的)非线性映射。我们研究作为参数偏微分方程的解算子出现的映射 $G^\dagger$ -参见第5节的例子。假设我们有观测值 $\left\{a_j,u_j\right\}_{j=1}^N$ ，其中 $a_j\sim\mu$ 是A上支持的概率测度 $\mu$ 的 $\mathcal{A}$ 序列， $u_j=G^\dagger(a_j)$ 可能被噪声破坏。我们的目标是通过构造一个参数映射来建立 $G^\dagger$ 的近似值：
$G:\mathcal{A}\times\Theta\to\mathcal{U}\quad\text{or equivalently,}\quad G_\theta:\mathcal{A}\to\mathcal{U},\quad\theta\in\Theta \tag{1}$
对于某个有限维参数空间 $\Theta$ ，通过选择 $\theta^\dagger\in\Theta$ ，使得 $G(\cdot,\theta^\dagger)=G_{\theta^\dagger}\approx G^\dagger$ 。这是在无限维中学习的自然框架，就像我们可以定义一个代价函数 $C:\mathcal{U}\times\mathcal{U}\to\mathbb{R}$ 然后求问题的最小值。
$\min_{\theta\in\Theta}\mathbb{E}_{a\sim\mu}[C(G(a,\theta),G^\dagger(a))] \tag{2}$
这与经典的有限维环境直接相似(Vapnik, 1998)。在无限维的情况下，如何证明最小值的存在，仍然是一个具有挑战性的开放性问题。我们将在测试列车设置中通过使用数据驱动的经验近似来解决这个问题，该近似用于确定θ并测试近似的准确性。因为我们在无限维的情况下概念化了我们的方法，所以所有有限维的近似都有一个共同的参数集，这些参数集在无限维中是一致的。表示法表见附录A.3。

可学习算子。近似运算符 $G^{\dagger}$ 是一个不同的任务，通常比为参数 $a\in\mathcal{A}$ 的单个实例找到PDE的解 $u\in\mathcal{U}$ 更具挑战性。大多数现有的方法，从经典的有限元素，有限差分，以及有限体积到现代机器学习方法，如物理信息神经网络(PINN)(Raissi et al.，2019)针对后者，因此计算成本可能很高。这对于需要为许多不同的参数实例提供PDE解决方案的应用程序来说是不切实际的。另一方面，我们的方法直接接近运算符，因此更便宜、更快，与传统的求解器相比，可以节省大量的计算量。有关贝叶斯逆问题的示例应用程序，请参见第5.5节。

离散化。由于我们的数据 $a_j$ 和 $u_j$ 通常都是函数，因此我们假设只能访问逐点求值。令 ${D}_{j}= \{ x_{1}, \ldots , x_{n}\} \subset D$ 是域 $D$ 的 $n$ 点离散化，并假设我们有观测值 $a_{j}| _{D_{j}}\in \mathbb{R} ^{n\times d_{a}}, u_{j}| _{D_{j}}\in \mathbb{R} ^{n\times d_{v}}$ ，对于以 $j$ 为索引的输入输出对的有限集合。为了离散化不变量，神经算子可以对任意 $x\in D$ 产生答案 $u (x)$ ，可能是 $x\notin D_j$ 。这样的性质是非常可取的，因为它允许在不同的网格几何和离散之间传递解。

3 NEURAL OPERATOR

在(Li et al .， 2020b)中提出的神经算子被表述为迭代架构 $v_0\mapsto$ $v_1\mapsto\ldots\mapsto v_T$ 其中 $v_j$ , $j=0,1,\ldots,T-1$ 是一个取 $\mathbb{R}^d_v$ 值的函数序列。如图2 (a)所示，输入 $a\in\mathcal{A}$ 首先通过局部变换 $P$ 提升到更高的维度表示 $v_0(x)=P(a(x))$ ，该变换通常由浅全连接神经网络参数化。然后我们应用几个迭代的更新 $v_{t}\mapsto v_{t+ 1}$ (定义见下)。输出 $u( x) = Q( v_{T}( x) )$ 是 $v_{T}$ 通过局部变换 $\mathbb{R} ^{d_{v}}\to \mathbb{R} ^{d_{u}}$ 的投影。在每次迭代中，更新 $v_t\mapsto v_{t+1}$ 被定义为非局部积分算子 $\mathcal{K}$ 和局部非线性激活函数 $\sigma$ 的组合。