Failure-informed adaptive sampling for PINNs

Failure-informed adaptive sampling for PINNs

Failure-informed PINNs

首先，作者定义了一个limit-state function (LSF) $g(\mathbf{x}):\Omega \to \mathbb{R}$ ，形式如下：
$$g(\mathbf{x})=\mathcal{Q}(\mathbf{x})-{ϵ}_r.$$
其中，${ϵ}_r$ 是一个预先定义的最大阈值，$\mathcal{Q}(\mathbf{x}):\Omega \to \mathbb{R}$ 用于将计算域映射到表征系统性能的特征值。在PINN中可以选择 $\mathcal{Q}(\mathbf{x})=|r(\mathbf{x};\theta )|$ ，即
$$g(\mathbf{x})=|r(\mathbf{x};\theta )|-{ϵ}_r.$$
随后，可以通过 $g(\mathbf{x})=0$ 来将计算域分割为两个子域：可靠域 Ω S = { x : g ( x ) < 0 } \Omega_{\mathcal{S}}=\{\mathbf{x}:g(\mathbf{x})<0\} ΩS​={x:g(x)<0} 以及失败域 Ω F = ⋅ { x : g ( x ) > 0 } \Omega_{\mathcal{F}}\stackrel{\cdot}{=}\{\mathbf{x}:g(\mathbf{x})>0\} ΩF​=⋅{x:g(x)>0} 。有了上述子域，就可以对PINN的可靠性进行描述，可以定义PINN的失败可能性 $P_{\mathcal{F}}$ 如下：
$$P_{\mathcal{F}}={\int }_{\Omega }\omega (\mathbf{x}){\mathbb{I}}_{{\Omega }_{\mathcal{F}}}(\mathbf{x})d\mathbf{x}.$$
其中 I Ω F ( x ) : Ω → { 0 , 1 } \mathbb{I}_{\Omega_{\cal F}}(\mathbf{x}):\Omega\rightarrow\{0,1\} IΩF​​(x):Ω→{0,1} 是一个根据上述子域定义的指示函数，当 $\mathbf{x}\in {\Omega }_{\mathcal{F}}$ 时，${\mathbb{I}}_{{\Omega }_{\mathcal{F}}}(\mathbf{x})=1$ ，否则 ${\mathbb{I}}_{{\Omega }_{\mathcal{F}}}(\mathbf{x})=0$ 。

当失败概率小于给定容差 ${ϵ}_p$ 时，就认为PINN是可靠的，否则就认为PINN在失败域内是不可靠的，应当对其进行改进。总得来说，随着失败区域变小，失败的概率也会降低，整个系统也就更为可靠。受上述事实启发，作者认为可以设计相应自适应策略，在失败区域增加新的采样点，同时 $P_{\mathcal{F}}$ 可以作为停止训练的标志，当 $P_{\mathcal{F}}>{ϵ}_p$ 时一直训练PINN。算法表示如下：

Self-adaptive importance sampling

一个简单的评估失败概率的方法，就是使用蒙特卡洛采样。首先从先验分布 $\omega (\mathbf{x})$ 中生成采样点 S = { x 1 , x 2 , … , x ∣ S ∣ } \mathcal{S}=\{\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_{|\mathcal{S}|}\} S={x1​,x2​,…,x∣S∣​} ，然后可以得到离散的概率近似如下：
$${\hat{P}}_{\mathcal{F}}^{MC}=\frac{1}{|\mathcal{S}|}\sum _{\mathrm{x}\in \mathcal{S}}{\mathbb{I}}_{{\Omega }_{\mathcal{F}}}(\mathbf{x}).$$
通过这种方法，可以得到如下采样策略：当 ${\hat{P}}_{\mathcal{F}}^{MC}>{ϵ}_p$ 时，将新的采样点 { x i : x i ∈ S , g ( x i ) > 0 } \{\mathbf{x}_{i}:\mathbf{x}_{i}\in\mathcal{S},g(\mathbf{x}_{i})>0\} {xi​:xi​∈S,g(xi​)>0} 加入训练集并训练一轮神经网络。可以看到，每轮训练点的数量并不一致，这是此方法与RAR方法的不同之一。RAR方法是选取 $m$ 个LSF函数值最大的点加入训练集。

但上述策略在失败区域较小时会难以生成有效样本。当偏微分方程表现出局部行为时，$|\mathcal{S}|$ 通常要达到 $\mathcal{O}(10^4\sim 10^6)$ ，这样就使得采样变得非常昂贵。

使用重要性采样可以避免这种开销，在这种情况下，$P_{\mathcal{F}}$ 可以表示如下：
$$P_{\mathcal{F}}={\int }_{\Omega }{\mathbb{I}}_{{\Omega }_{\mathcal{F}}}(\mathbf{x})\frac{\omega (\mathbf{x})}{h(\mathbf{x})}h(\mathbf{x})d\mathbf{x}={\mathbb{E}}_h\left[{\mathbb{I}}_{{\Omega }_{\mathcal{F}}}(\mathbf{x})R(\mathbf{x})\right]$$
其中 $h(x)$ 是一个采样分布，假设 $R(x)=\frac{\omega (x)}{h(x)}$ 表示权重函数，用于将采样分布 $h(x)$ 转换到先验分布 $\omega (x)$ 上，那么通过采样分布 $h(x)$ 采样的一组样本点 S = { x 1 , x 2 , … , x ∣ S ∣ } \mathcal{S}=\{\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_{|\mathcal{S}|}\} S={x1​,x2​,…,x∣S∣​} ，可以得到 $P_{\mathcal{F}}$ 表示如下：
$${\hat{P}}_{\mathcal{F}}^{IS}=\frac{1}{|\mathcal{S}|}\sum _{\mathbf{x}\in \mathcal{S}}{\mathbb{I}}_{{\Omega }_{\mathcal{F}}}(\mathbf{x})R(\mathbf{x})$$
如果 $h$ 的支集包含 $\omega$ 的支集与失败集的交集，则 上式为 $P_{\mathcal{F}}$ 的无偏估计量。理论上，存在最优采样分布如下：
$$h_{opt}(\mathbf{x})=\frac{{\mathbb{I}}_{{\Omega }_{\mathcal{F}}(\mathbf{x})}\omega (\mathbf{x})}{P_{\mathcal{F}}}=\frac{{\mathbb{I}}_{g(\mathbf{x})>0}\omega (\mathbf{x})}{{\int }_{\Omega }{\mathbb{I}}_{g(\mathbf{x})>0}\omega (\mathbf{x})d\mathbf{x}}$$
但在实际中由于归一化常数难以获得 $h_{opt}$ 。

因此，作者在实际中选择通过迭代的方式来获得 $h_{opt}$ 的近似。首先以 $h_1(x)=\omega (x)$ 作为初始采样分布，然后在第 $k$ 步，从 $h_k(x)$ 生成 $N_1$ 个采样点 { x i k } i = 1 N 1 \{\mathbf{x}_i^k\}_{i=1}^{N_1} {xik​}i=1N1​​ 并根据LSF函数值对其进行排序，得到候选点集 D ~ k : = { x ~ i k } i = 1 N 1 \tilde{\mathcal{D}}_{k}:=\{\widetilde{\mathbf{x}}_{i}^{k}\}_{i=1}^{N_{1}} D~k​:={x ik​}i=1N1​​ .假设 $N_{p}=\left\lfloor p_{0}N_{1}\right\rfloor $ 表示用于近似最优分布 $h_{opt}$ 的最小样本数。其中 $0<p_0<1$ 是固定参数。假设 $N_{\eta }$ 代表候选点集 $D_k$ 中落在失败集中的点数。于是，当 $N_{\eta }<N_p$ 时，代表采样分布任需要优化。否则，当 $N_{\eta }>N_p$ 时，代表区域内的点数可以用来近似 ${\hat{h}}_{opt}$。

当 $h_k$ 需要优化时，作者使用了截断高斯模型，通过前 $N_p$ 个样本来估计 $h_{k+1}$ 的均值向量和协方差矩阵，如下所示：
$$\begin{array}{rl}{\mu }_{k+1}& =\frac{1}{N_p}\sum _{i=1}^{N_p}{\tilde{\mathbf{x}}}_i^k,\\ {\Sigma }_{k+1}& =\frac{1}{N_p-1}\sum _{i=1}^{N_p}({\tilde{\mathbf{x}}}_i^k-{\mu }_{k+1})\otimes ({\tilde{\mathbf{x}}}_i^k-{\mu }_{k+1}).\end{array}$$
同时，当迭代停止时，也就获得了最优分布的均值向量和协方差矩阵的近似，如下：
$$\begin{array}{rl}& {\mu }_{opt}=\frac{{\sum }_{i=1}^{N_p}{\tilde{\mathbf{x}}}_i\omega ({\tilde{\mathbf{x}}}_i)}{{\sum }_{i=1}^{N_p}\omega ({\tilde{\mathbf{x}}}_i)}\\ & {\Sigma }_{opt}=\frac{1}{N_p-1}\sum _{i=1}^{N_p}({\tilde{\mathbf{x}}}_i-{\mu }_{opt})\otimes ({\tilde{\mathbf{x}}}_i-{\mu }_{opt}).\end{array}$$
因此，近似最优分布 ${\hat{h}}_{opt}(x)$ 是具有均值向量 ${\mu }_{opt}$ 和协方差矩阵 ${\Sigma }_{opt}$ 的截断高斯分布。通过从 ${\hat{h}}_{opt}(x)$ 生成 $N_2$ 个样本，失败概率可以近似为：
$${\hat{P}}_{\mathcal{F}}^{SAIS}=\frac{1}{N_2}\sum _{i=1}^{N_2}\frac{\omega ({\mathbf{x}}_i)}{{\hat{h}}_{opt}({\mathbf{x}}_i)}{\mathbb{I}}_{{\Omega }_{\mathcal{F}}}({\mathbf{x}}_i).$$
完整算法如下：

实验结果

作者在二维Poisson、Burgers、高维Poissin、二维无界问题以及时间相关的无界问题上对比了均匀采样的PINN方法、RAR方法以及使用SAIS的FI-PINN方法。

二维Poisson

$$\begin{array}{rlr}-\Delta u(x,y)& =f(x,y)& \text{in}\Omega \\ u(x,y)& =g(x,y)& \text{on}\partial \Omega ,\end{array}$$

其精确解为
$$u(x,y)=\exp \left(-1000\left[(x-0.5{)}^2+(y-0.5{)}^2\right]\right)$$

上图为训练过程中的$L_2$ 误差以及失败概率。

上图为训练过程中三种算法在前三次迭代中生成的训练点

上图为三种方法为训练结果可视化，左侧为生成的解，中间为与真实解的绝对误差，右侧为 $x=0.5$ 处生成解与真解的对比。

上图为对两个超参数进行的试验。

更多样例详见原文。

总结

这篇文章通过将求解域划分为可靠域、失败域两个子域建立了FI-PINN体系。并通过截断高斯分布的叠加来对最优采样分布进行近似，得到SAIS方法。感觉设计的都挺巧妙的，但没给代码，试着复现一下。

相关链接：

• 原文：[2210.00279] Failure-informed adaptive sampling for PINNs (arxiv.org)