Extended Physics-InformedNeural Networks (XPINNs)

Extended Physics-InformedNeural Networks (XPINNs): A Generalized Space-Time Domain Decomposition Based Deep Learning Framework

• Ameya D. Jagtap1,∗ and George Em Karniadakis1,2

期刊

• Communications in Computational Physics

日期

• 2020

代码

• 代码链接

1 摘要

提出了更灵活分解域的XPINN方法，比cPINN区域分解更灵活，而且使用与所有方程。

2 背景

cPINN是通过区域分解，每个区域使用小的网络进行训练，使得求解时不同区域能够并行计算。论文提出的XPINN具有cPINN的区域分解的优势，同时还有以下优势

• Generalized space-time domain decomposition，XPINN公式提供了高度不规则的、凸/非凸的时空域分解，由于这样的分解XPINN公式提供了高度不规则的、凸/非凸的时空域分解
• XPINN公式提供了高度不规则的、凸/非凸的时空域分解
• 简单中间条件，在XPINN中，对于任意形状的界面来说，界面条件非常简单，不需要法线方向，因此，所提出的方法可以很容易地扩展到任何复杂的几何形状，甚至是更高维度的几何形状。

精确求解复杂的方程组，特别是高维方程组已经成为科学计算的最大挑战之一。XPINN的优点使其成为适合进行此类高维复杂模拟的候选对象，而这个高维模拟通常需要大量的训练成本的。

3 XPINN方法

描述：

• Subdomains ：子域${\Omega }_q,q=1,2,\cdots N_{sd}$是整个计算域$\Omega$的非重叠子域，满足$\Omega ={\bigcup }_{q=1}^{N_{sd}}{\Omega }_q$和${\Omega }_i\cap {\Omega }_j=\partial {\Omega }_{ij},i\ne j$表示分解域的个数，子域的相交仅仅是在边界$\partial {\Omega }_{ij}$
• Interface ：表示两个或者多个子域的共同边界对应的子网（sub-Nets）之间互通
• sub-Net：子PINN是指每个子域中使用的具有自己的一组优化超参数的个体PINN
• Interface Conditions: 这些条件用于将分解的子域连接在一起，从而得到完全域上的控制偏微分方程的解,根据控制方程的性质，一个或多个界面条件可以应用在共同界面上，如解连续性、通量连续性等

上图中X就是求解域，黑色实线表示区域的边界，黑色虚线表示interface。XPINN的基本interface条件包括强形式的连续性条件和在共同interface上强制不同子网给出的平均解。cPINN文中提到，为了稳定性，没有必要加平均解的条件，但实验也表明了会加快收敛速度。XPINN具有cPINN的所有优点，如并行化能力、大的表示能力、优化方法、激活函数、网络深度或宽度等超参数的高效选择。与cPINN不同，XPINN可以用于求解任何类型的偏微分方程，而不一定是守恒定律。在XPINN情况下，采用法向通量连续性条件不需要找到法向。这大大降低了算法的复杂性，特别是在具有复杂领域的大规模问题以及移动界面问题。

第$q^{th}$个子域的神经网络输出定义为
$u_{{\tilde{\mathbf{\Theta }}}_q}(\mathbf{z})={\mathcal{N}}^L\left(\mathbf{z};{\tilde{\mathbf{\Theta }}}_q\right)\in {\Omega }_q,q=1,2,\cdots ,N_{sd}$
最终解定义为
$u_{\tilde{\mathbf{\Theta }}}(\mathbf{z})={\sum }_{q=1}^{N_{sd}}{u}_{{\tilde{\mathbf{\Theta }}}_q}(\mathbf{z})\cdot 1_{{\Omega }_q}(\mathbf{z})$
其中
$1_{{\Omega }_q}(\mathbf{z}):=\{\begin{array}{ll}0& \text{ if }\mathbf{z}\notin {\Omega }_q\\ 1& \text{ if }\mathbf{z}\in {\Omega }_q\backslash \text{ Common interface in the }{q}^{th}\text{ subdomain }\\ \frac{1}{\mathcal{S}}& \text{ if }\mathbf{z}\in \text{ Common interface in the }{q}^{th}\text{ subdomain }\end{array}$
$S$表示S表示沿公共界面相交的子域数量

3.1 正、逆问题子域的损失函数

(1)正问题
在$q^{th}$子域的${\left\{{\mathbf{x}}_{u_q}^{(i)}\right\}}_{i=1}^{N_{uq}},{\left\{{\mathbf{x}}_{F_q}^{(i)}\right\}}_{i=1}^{N_{Fq}}\text{ and }{\left\{{\mathbf{x}}_{I_q}^{(i)}\right\}}_{i=1}^{N_{Iq}}$表示training, residual, and the common interface points。$N_{u_q},N_{F_q}and{N}_{Iq}$分别代表对应的点的个数，每个子域使用一个PINN，$u_q=u_{{\tilde{\Theta }}_t}$,第$q^{th}$个子域损失函数定义为
$\begin{array}{rl}\mathcal{J}\left({\tilde{\mathbf{\Theta }}}_q\right)=& W_{u_q}{\mathrm{MSE}}_{u_q}\left({\tilde{\mathbf{\Theta }}}_q;{\left\{{\mathbf{x}}_{u_q}^{(i)}\right\}}_{i=1}^{N_{uq}}\right)+W_{{\mathcal{F}}_q}{\mathrm{MSE}}_{{\mathcal{F}}_q}\left({\tilde{\mathbf{\Theta }}}_q;{\left\{{\mathbf{x}}_{F_q}^{(i)}\right\}}_{i=1}^{N_{Fq}}\right)\\ & +W_{I_q}\underset{\text{Interface condition }}{\underbrace{{\mathrm{MSE}}_{u_{avg}}\left({\tilde{\mathbf{\Theta }}}_q;{\left\{{\mathbf{x}}_{I_q}^{(i)}\right\}}_{i=1}^{N_{Iq}}\right)}}+W_{I_{{\mathcal{F}}_q}}\underset{\text{Interface condition }}{\underbrace{{\mathrm{MSE}}_{\mathcal{R}}\left({\tilde{\mathbf{\Theta }}}_q;{\left\{{\mathbf{x}}_{I_q}^{(i)}\right\}}_{i=1}^{N_{Iq}}\right)}}\\ & +\underset{\text{Optional }}{\underbrace{\text{ Additional Interface Condition’s }}}\end{array}$
$W_{u_q},W_{{\mathcal{F}}_q},W_{I_{{\mathcal{F}}_q}}\text{ and }{W}_{I_q}$代表不同损失的参数,
$\begin{array}{l}{\mathrm{MSE}}_{u_q}\left({\tilde{\mathbf{\Theta }}}_q;{\left\{{\mathbf{x}}_{u_q}^{(i)}\right\}}_{i=1}^{N_{uq}}\right)=\frac{1}{N_{u_q}}{\sum }_{i=1}^{N_{uq}}{\left|u^{(i)}-u_{{\tilde{\mathbf{\Theta }}}_q}\left({\mathbf{x}}_{u_q}^{(i)}\right)\right|}^2\\ {\mathrm{MSE}}_{{\mathcal{F}}_q}\left({\tilde{\mathbf{\Theta }}}_q;{\left\{{\mathbf{x}}_{F_q}^{(i)}\right\}}_{i=1}^{N_{Fq}}\right)=\frac{1}{N_{F_a}}{\sum }_{i=1}^{N_{Fq}}{\left|{\mathcal{F}}_{{\tilde{\mathbf{\Theta }}}_q}\left({\mathbf{x}}_{F_q}^{(i)}\right)\right|}^2\end{array}$
$\begin{array}{l}{\mathrm{MSE}}_{u_{avg}}\left({\tilde{\mathbf{\Theta }}}_q;{\left\{{\mathbf{x}}_{I_q}^{(i)}\right\}}_{i=1}^{N_{Iq}}\right)={\sum }_{\forall q^{+}}\left(\frac{1}{N_{I_q}}{\sum }_{i=1}^{N_{I_q}}{\left|u_{{\tilde{\mathbf{\Theta }}}_q}\left({\mathbf{x}}_{I_q}^{(i)}\right)-\left\{\left\{u_{{\tilde{\mathbf{\Theta }}}_q}\left({\mathbf{x}}_{I_q}^{(i)}\right)\right\}\right\}\right|}^2\right)\\ {\mathrm{MSE}}_{\mathcal{R}}\left({\tilde{\mathbf{\Theta }}}_q;{\left\{{\mathbf{x}}_{I_q}^{(i)}\right\}}_{i=1}^{N_{Iq}}\right)={\sum }_{\forall q^{+}}\left(\frac{1}{N_{I_q}}{\sum }_{i=1}^{N_{I_q}}{\left|{\mathcal{F}}_{{\tilde{\mathbf{\Theta }}}_q}\left({\mathbf{x}}_{I_q}^{(i)}\right)-{\mathcal{F}}_{{\tilde{\Theta }}_{q^{+}}}\left({\mathbf{x}}_{I_q}^{(i)}\right)\right|}^2\right)\end{array}$
最后两项代表着interface 条件损失,第四项是在子域$q$和$q^{+}$的两个不同网络的残差连续条件,$q^{+}$代表$q$的领域MSER和$MS{E}_{uavg}$，都定义在所有相邻的子域,上式子中$\left\{\left\{u_{{\tilde{\mathbf{\Theta }}}_q}\right\}\right\}=u_{\text{avg }}:=\frac{u_{{\tilde{\mathbf{\Theta }}}_q}+u_{{\tilde{\mathbf{\Theta }}}_{q^{+}}}}{2}$(假设在公共界面上只有两个子域相交)，additional interface conditions，例如flux continuity ，$c^k$也能根据PDE的类型以及interface 方向被加损失中。
remark：

• interface conditions 的类型决定了整个接口的解的正则性，从而影响收敛速度。在interface上的解是足够连续的，从而满足其控制PDE
• 足够多的interface point去连接子域，这对于算法的收敛很重要，特别是对于internal

对于逆问题:
$\begin{array}{rl}\mathcal{J}\left({\tilde{\mathbf{\Theta }}}_q,\lambda \right)=& W_{u_q}{\mathrm{MSE}}_{u_q}\left({\tilde{\mathbf{\Theta }}}_q,\lambda ;{\left\{{\mathbf{x}}_{u_q}^{(i)}\right\}}_{i=1}^{N_{u_q}}\right)+W_{{\mathcal{F}}_q}{\mathrm{MSE}}_{{\mathcal{F}}_q}\left({\tilde{\mathbf{\Theta }}}_q,\lambda ;{\left\{{\mathbf{x}}_{u_q}^{(i)}\right\}}_{i=1}^{N_{u_q}}\right)\\ & +W_{I_q}\underset{\text{Interface condition’s }}{\underbrace{\left\{{\mathrm{MSE}}_{u_{avg}}\left({\tilde{\mathbf{\Theta }}}_q,\lambda ;{\left\{{\mathbf{x}}_{I_q}^{(i)}\right\}}_{i=1}^{N_{Iq}}\right)+{\mathrm{MSE}}_{\lambda }\left({\tilde{\mathbf{\theta }}}_q,\lambda ;{\left\{{\mathbf{x}}_{I_q}^{(i)}\right\}}_{i=1}^{N_{Iq}}\right)\right\}}}\\ & +W_{I_{{\mathcal{F}}_q}}\underset{\text{Intarf }}{\underbrace{{\mathrm{MSE}}_{\mathcal{R}}\left({\tilde{\mathbf{\Theta }}}_q,\lambda ;{\left\{{\mathbf{x}}_{I_q}^{(i)}\right\}}_{i=1}^{N_{Iq}}\right)}}+\underset{\text{Optional }}{\underbrace{\text{ Additional Interface Condition’s }}}\end{array}$
其中
$\begin{array}{l}{\mathrm{MSE}}_{{\mathcal{F}}_q}\left({\tilde{\mathbf{\Theta }}}_q,\lambda ;{\left\{{\mathbf{x}}_{u_q}^{(i)}\right\}}_{i=1}^{N_{u_q}}\right)=\frac{1}{N_{u_q}}{\sum }_{i=1}^{N_{u_q}}{\left|{\mathcal{F}}_{{\tilde{\mathbf{\Theta }}}_q}\left({\mathbf{x}}_{u_q}^{(i)}\right)\right|}^2\\ {\mathrm{MSE}}_{\lambda }\left({\tilde{\mathbf{\Theta }}}_q,\lambda ;{\left\{{\mathbf{x}}_{I_q}^{(i)}\right\}}_{i=1}^{N_{Iq}}\right)={\sum }_{\forall q^{+}}\left(\frac{1}{N_{I_q}}{\sum }_{i=1}^{N_{lq}}{\left|{\lambda }_q\left({\mathbf{x}}_{I_q}^{(i)}\right)-{\lambda }_{q^{+}}\left({\mathbf{x}}_{I_q}^{(i)}\right)\right|}^2\right)\end{array}$
其他残差损失与正向损失一样。
**Remark：**需要注意的是，由于XPINN损失函数的高度非凸性，定位其全局最小值非常难。但是，对于几个局部极小值，损失函数的值是相似的，相应的预测解的精度是相似的。

3.2 优化方法

自动求导

3.3 误差

$\begin{array}{rl}{\mathcal{E}}_{\text{app }}q& =\Vert u_{a_q}-u_q^{ex}\Vert \\ {\mathcal{E}}_{\text{gen }}q& =\Vert u_{g_q}-u_{a_q}\Vert \\ {\mathcal{E}}_{\text{opt }}q& =\Vert u_{{\tau }_q}-u_{g_q}\Vert \end{array}$
分别代表approximation error、 generalization error 以及optimization error.

• $u_{a_q}=\arg {\min }_{f\in F_q}\Vert f-u_q^{ex}\Vert$是真解$u_q^{ex}$的近似
• $u_{g_q}=\arg {\min }_{{\tilde{\mathbf{\Theta }}}_q}\mathcal{J}\left({\tilde{\mathbf{\Theta }}}_q\right)$是全局最优解
• $u_{{\tau }_q}=\arg {\min }_{{\tilde{\mathbf{\Theta }}}_q}\mathcal{J}\left({\tilde{\mathbf{\Theta }}}_q\right)$是子网络训练后得到的解，

最后XPINN的误差可以总结为
${\mathcal{E}}_{XPINN}:=\Vert u_{\tau }-u^{ex}\Vert \le \Vert u_{\tau }-u_g\Vert +\Vert u_g-u_a\Vert +\Vert u_a-u^{ex}\Vert$
其中，$\left(u^{ex},u_{\tau },u_g,u_a\right)(\mathbf{z})={\sum }_{q=1}^{N_{sd}}\left(u_q^{ex},u_{{\tau }_q},u_{g_q},u_{a_q}\right)(\mathbf{z})\cdot 1_{{\Omega }_q}(\mathbf{z})$

Remark：

• 当估计误差降低（数据拟合更好），泛化误差就会增加，这是一种bias variance trade-off，影响泛化误差的两个主要因素是the number and distribution of residual points
• 优化误差由损失函数的复杂性影响，网络结构深深影响优化误差

3.4 XPINN、cPINN，PINN对比

与PINN和cPINN框架相比，XPINN框架有很多优点，但是它也有一个与之前的框架相同的局限性。绝对误差
PDE解决方案,不会低于的水平，这是由于解决高维非凸优化问题所涉及的不准确性，可能会导致糟糕的极小值