Competitive Physics Informed Networks

Competitive Physics Informed Networks

问题分析

一个PDE问题可以表示为如下形式：
$$\begin{array}{rl}\mathcal{A}[u]& =f,\mathrm{in}\Omega \\ u& =g,\mathrm{on}\partial \Omega ,\end{array}$$
在有限元方法中，通常会考虑基函数集 { ψ i } 1 ≤ i ≤ dim ⁡ ( π ) \left\{\psi_i\right\}_{1\leq i\leq\dim(\boldsymbol{\pi})} {ψi​}1≤i≤dim(π)​ ，通过定义 $A\in {\mathbb{R}}^{N_{\Omega }\times \dim (\mathbf{\pi })}$ 以及 $f\in {\mathbb{R}}^{N_{\Omega }}$ 可以将上述PDE问题进行如下离散：
$$A_{ij}:=\mathcal{A}[{\psi }_j](x_i),f_i:=f(x_i)$$
得到离散PDE如下：
$$\mathbf{A}\mathbf{\pi }=\mathbf{f}.$$
考虑一个同样由这组基函数构成的神经网络，表示如下：
$$\mathcal{P}(x)=\sum _{i=1}^{\dim (\mathbf{\pi })}{\pi }_i{\psi }_i(x)$$
PINN就是通过将上述等式转换为最小二乘问题，来对PDE的解进行近似：
$$\underset{\mathbf{\pi }}{\min }\Vert \mathbf{A\pi }-\mathbf{f}{\Vert }^2,$$
其解为 $\mathbf{\pi }=({\mathbf{A}}^{\top }\mathbf{A}{)}^{-1}{\mathbf{A}}^{\top }\mathbf{f}$。 由于矩阵 $({\mathbf{A}}^{\top }\mathbf{A})$ 为对称正定矩阵，因此可以使用共轭梯度法等专用的算法来解决；但当矩阵 $\mathbf{A}$ 为病态矩阵时， $\kappa ({\mathbf{A}}^{\top }\mathbf{A})=\kappa (\mathbf{A}{)}^2$ 会导致迭代求解收敛缓慢。由于微分算子是无界的，因此它们的离散化更容易导致病态的线性系统。

解决方法

作者想将上述离散PDE转化为如下鞍点问题：
$$\underset{\mathbf{\pi }}{\min }\underset{\mathbf{\delta }}{\max }{\mathbf{\delta }}^{\top }(\mathbf{A}\pi -\mathbf{f})$$
这个方程的解和原方程的解是一致的
$$\left[\begin{array}{cc}0& {\mathbf{A}}^{\top }\\ \mathbf{A}& 0\end{array}\right]\left[\begin{array}{c}\mathbf{\pi }\\ \mathbf{\delta }\end{array}\right]=\left[\begin{array}{c}0\\ \mathbf{f}\end{array}\right],\mathrm{with}\kappa \left(\left[\begin{array}{cc}0& {\mathbf{A}}^{\top }\\ \mathbf{A}& 0\end{array}\right]\right)=\kappa (\mathbf{A}).$$
具体而言，作者引入了一个判别器 $\mathcal{D}$ ，其输入为 $x\in {\mathbb{R}}^d$ ，输出为 ${\mathcal{D}}_{\Omega }(x)$ 以及 ${\mathcal{D}}_{\partial \Omega }(x)$ 。$\mathcal{P}$ 和 $\mathcal{D}$ 进行零和博弈，其中 $\mathcal{P}$ 学习求解偏微分方程，$\mathcal{D}$ 学习预测 $\mathcal{P}$ 的误差。该博弈可以被定义为如下极小极大问题：
$$\underset{\mathcal{D}}{\max }\underset{\mathcal{P}}{\min }{\mathcal{L}}_{\Omega }^{\mathbf{CPINN}}(\mathcal{P},\mathcal{D},x)+{\mathcal{L}}_{\partial \Omega }^{\mathbf{CPINN}}(\mathcal{P},\mathcal{D},\overline{x})$$
其中：
$$\begin{array}{c}{\mathcal{L}}_{\Omega }^{\mathbf{CPINN}}(\mathcal{D},\mathcal{P},\mathbf{x})=\frac{1}{N_{\Omega }}\sum _{i=1}^{N_{\Omega }}{\mathcal{D}}_{\Omega }(x_i)\left(\mathcal{A}[\mathcal{P}](x_i)-f(x_i)\right),\\ {\mathcal{L}}_{\partial \Omega }^{\mathbf{CPINN}}(\mathcal{D},\mathcal{P},\overline{\mathbf{x}})=\frac{1}{N_{\partial \Omega }}\sum _{i=1}^{N_{\partial \Omega }}{\mathcal{D}}_{\partial \Omega }({\overline{x}}_i)\left(\mathcal{P}\left({\overline{x}}_i\right)-g\left({\overline{x}}_i\right)\right).\end{array}$$
上述博弈的纳什均衡为 $\mathcal{P}\equiv u$ 且 $\mathcal{D}\equiv 0$。因此，计算此类零和博弈中纳什均衡的迭代算法可用于近似求解 PDE。在本文中，$\mathcal{P}$ 和 $\mathcal{D}$ 是分别具有双曲正切和 ReLU 激活函数的全连接网络。每个网络的层数和神经元数量取决于 PDE 问题，优化器选择为ACGD。

实验结果

作者在二维Poisson方程、 非线性Schrödinger方程， 带粘滞项的Burgers’ 方程以及Allen-Cahn方程上进行了试验，并对PINN + Adam以及CPINN + ACGD的组合进行了对比。

同时，由于ACGD 使用 GMRES (Saad & Schultz, 1986) 和通过自动微分获得的 Hessian 向量积来求解 CGD 的更新。因此，(A)CGD 的迭代比 Adam 的迭代要昂贵得多。为了公平地考虑这种差异，作者还提供了两种方法所需的通过神经网络的前向传递次数。

Poisson

$$\Delta u(x,y)=-2\sin (x)\cos (y),x,y\in [-2,2]$$

施加如下狄利克雷边界条件：
$$\begin{array}{rlrl}u(x,-2)& =\sin (x)\cos (-2),& u(-2,y)& =\sin (-2)\cos (y),\\ u(x,2)& =\sin (x)\cos (2),& u(2,y)& =\sin (2)\cos (y).\end{array}$$
其精确解为：
$$u(x,y)=\sin (x)\cos (y).$$

Schrödinger

$$u_t+\frac{1}{2}{u}_{xx}+|u{|}^{2}u=0,x\in [-5,5],t\in [0,\pi /2]$$

施加如下初始/边界条件：
$$u(0,x)=2\mathrm{sech}(x),u(t,-5)=u(t,5),u_x(t,-5)=u_x(t,5)$$

Burgers’

$$u_t+u{u}_x-(0.01/\pi )u_{xx}=0,x\in [-1,1],t\in [0,0]$$

施加如下初始/边界条件：
$$u(0,x)=-\sin (\pi x),u(t,-1)=u(t,1)=0$$

Allen-Cahn

$$u_t-0.0001u_{xx}+5u^3-5u=0,x\in [-1,1],t\in [0,1]$$

施加如下初始/边界条件：
$$u(0,x)=x^2\cos (\pi x),u(t,-1)=u(t,1),u_x(t,-1)=u_x(t,1)$$

算法和优化器排列组合

总结

这篇文章利用传统的有限元方法对PDE进行了分析，并认为平方损失在面对病态问题时会抑制迭代求解器的收敛性。于是作者通过将原问题转换为鞍点问题，构造了一个在纳什均衡点处与原问题等价的博弈情境，并利用ACGD来进行优化。

单从发布时间上看，这篇文章似乎比Is $L^2$ Physics-Informed Loss Always Suitable for Training Physics-Informed Neural Network更早意识到平方损失所带来的问题，但个人感觉理论方面的证明有所欠缺，比如纳什均衡点的证明、$\mathbf{A}$ 为病态矩阵时的具体分析等。

同时，如果(A)CGD 的迭代比 Adam 的迭代要昂贵得多，那么，直接使用训练时间来衡量其表现不是一个更直接的方法吗？为什么要使用前向传播次数来对比其开销呢？因为原文代码使用了老版本的torch，无法在30系以上显卡安装，因此我还没有跑原文代码，后面打算在服务器上跑一下试试，看看二者的时间开销如何。

相关链接：

• 原文：[2204.11144] Competitive Physics Informed Networks (arxiv.org)

• 原文代码：GitHub - comp-physics/CPINN: Competitive Physics Informed Networks