A Method for Representing Periodic Functions and Enforcing Exactly Periodic Boundary Conditions

A Method for Representing Periodic Functions and Enforcing Exactly Periodic Boundary Conditions with Deep Neural Networks

周期性边界条件

周期性边界条件广泛存在于各个领域的计算科学中，特别是当物理域沿一个或多个方向无限或均匀时，数值模拟中通常只计算一个单元，并对单元边界施加周期性边界条件。对于经典数值方法，解决此类问题的另一种常用技术是用傅里叶展开式来表达未知场函数，从而产生所谓的傅里叶谱或伪谱方法 。虽然两者都被称为周期性条件，但当使用和不使用傅里叶展开时，数值方法所施加的周期性要求是不同的。通过使用傅立叶展开，该方法寻求平滑的周期函数作为控制方程的解，该函数自动满足解值及其在单元边界上的所有导数（无限阶）的周期性。另一方面，当该方法中不使用傅立叶展开时，需要在单元边界上显式地施加周期性，并且这只能对解值及其导数施加到某个有限阶。对于这两种类型的周期性边界条件，可以将前者称为 $C^{\infty }$ 周期条件，后者称为 $C^k$ 周期条件，其中 $k>0$ 表示周期条件施加的最高导数。它们可以严格定义如下：

考虑一个定义在实轴上，以 $L$ 为周期的平滑周期函数 $f(x)$
$$f(x+L)=f(x),\forall x\in (-\infty ,\infty ).$$
可以将 $f(x)$ 限制为有限区间 $[a,b]$，其中 $b-a=L$。则 $f$ 在边界上满足以下关系：
$$f(a)=f(b),f^{\prime }(a)=f^{\prime }(b),f^{\prime \prime }(a)=f^{\prime \prime }(b),\dots ,f^{(m)}(a)=f^{(m)}(b),\dots$$

上述条件可以被称为 $C^{\infty }$周期条件，满足这些条件的平滑函数 $f(x)$ 称为 $[a,b]$ 上的 $C^{\infty }$ 周期函数，或简称为周期函数。

实际上，这个函数可能并不平滑，并且上述条件可能仅需要达到有限阶 $k(k>0)$ 的导数，即
$$f^{(l)}(a)=f^{(l)}(b),0⩽l⩽k$$
上述$(k+1)$个条件可以被称为 $C^k$周期条件，将满足上述条件的函数 $f(x)$ 称为 $[a,b]$ 上的 $C^k$ 周期函数。

精确 $C^{\infty }$ 周期条件

定理2.1 假设 $v(x)$ 是一个在实轴上光滑并且周期为 $L$ 的周期函数，即，对于所有的 $x\in (-\infty ,\infty )$ ，$v(x+L)=v(x)$。同时，$f(x)$ 为任意平滑函数。可以定义 $u(x)=f(v)=f(v(x))$ 于是，
KaTeX parse error: Expected 'EOF', got '&' at position 15: u(x+L)=u(x), &̲ \forall x \in …
其中，$a,b$ 为两个实数，且 $b-a=L$.

作者希望利用 DNN 来表示具有指定周期 L 的任意平滑周期函数，从而自动满足 $C^{\infty }$ 周期条件。考虑如下正弦函数：
$$p(x)=A\cos (\omega x+\varphi )+c,\text{with}\omega =\frac{2\pi }{L}$$
其中常数$A,c$和 $\varphi$ 是可训练参数。而 $\omega$ 是上面给出的固定常数，以确保 $p(x)$ 具有周期 $L$。令 $\sigma (\cdot )$ 表示非线性激活函数（例如“tanh”或“sigmoid”）。可以定义
$$v(x)=\sigma (p(x))=\sigma (A\cos (\omega x+\varphi )+c)$$
非线性函数 $\sigma (\cdot )$ 将在输出中生成高频分量。因此，虽然 $p(x)$ 具有单一频率 $\omega$，但 $v(x)$ 不仅包含频率 $\omega$，还包含具有其他频率和更高频率的分量，所有这些分量都具有公共周期 $L$。最后，考虑如下通过DNN表示的任意函数 $f(x)$：
$$u(x)=f_{\mathrm{dnn}}(v(x))$$
其中 $f_{dnn}$ 表示由 DNN 表示的任意函数。由定理2.1可知，该 $u(x)$ 完全满足$C^{\infty }$ 周期条件。

在实践中，通常会将 DNN 表示的任意函数 $f_{dnn}(\cdot )$ 与上面定义的一组具有可调参数的独立周期函数 $v(x)$ 组合起来。这导致了层内具有多个神经元的周期性层的想法。作者在当前的工作中考虑前馈深度神经网络架构。

上图用草图说明了当前 DNN 的想法。令 $x$ 表示网络的输入层，$u(x)$ 表示网络的输出层。可以使用第二层（输入 $x$ 后面）来实现一组独立的已知周期函数（ $v(x)$ 的副本），其周期为 $L$ 且参数可调，使得网络的输出 $u(x)$ 完全满足 $C^{\infty }$ 周期性条件 。可以将这样的层称为 $C^{\infty }$ 周期层，或者简称为周期层。

$C^{\infty }$ 周期层内的操作定义如下：令${\mathcal{L}}_p(m,n)$ 表示 $C^{\infty }$ 周期层，其中 $n$ 表示该层输出中的节点数，$m$ 表示独立周期函数集 $v(x)$ 的大小。这里 $m$ 和 $n$ 都是 $C^{\infty }$周期层 ${\mathcal{L}}_p(m,n)$ 的超参数。 ${\mathcal{L}}_p(m,n)$ 内的运算定义为：
$$\begin{array}{rl}& v_i(x)=\sigma (A_i\cos (\omega x+{\varphi }_i)+c_i),1⩽i⩽m;\\ & q_j(x)=\sigma \left(\sum _{i=1}^m{v}_i(x)W_{ij}+B_j\right),1⩽j⩽n.\end{array}$$
上述方法同样可以被扩展至更高维度，以二维为例，假设$(x_1,x_2)$ 表示二维坐标， $u(x_1,x_2)$ 表示要表示的平滑周期函数，其周期如下：
$$u(x_1+L_1,x_2)=u(x_1,x_2),u(x_1,x_2+L_2)=u(x_1,x_2),\forall x_1,x_2\in (-\infty ,\infty ),$$
其中，$L_1,L_2$ 分别表示在 $x_1,x_2$ 方向上的周期。同样，可以利用单个周期单元 $[a_1,b_1]\times [a_2,b_2]$ 来写出周期条件如下：
$$\{\begin{array}{rl}\frac{{\partial }^{\alpha }}{\partial x_1^{\alpha }}u(a_1,x_2)& =\frac{{\partial }^{\alpha }}{\partial x_1^{\alpha }}u(b_1,x_2),\forall x_2\in [a_2,b_2],\\ \frac{{\partial }^{\alpha }}{\partial x_2^{\alpha }}u(x_1,a_2)& =\frac{{\partial }^{\alpha }}{\partial x_2^{\alpha }}u(x_1,b_2),\forall x_1\in [a_1,b_1],\alpha =0,1,2,\dots \end{array}$$
其中 $a_1、b_1、a_2 $和 $b_2$ 是给定的常数，满足 $b_1-a_1=L_1$ 和 $b_2-a_2=L_2$。此时，可以通过以下操作定义 2D 周期层 ${\mathcal{L}}_p^{2D}(m,n)$：
$$\begin{array}{rl}& v_{1i}(x_1)=\sigma \left(A_{1i}\cos ({\omega }_1{x}_1+{\varphi }_{1i})+c_{1i}\right),1⩽i⩽m;\\ & \begin{array}{r}{v}_{2i}(x_2)=\sigma \left(A_{2i}\cos ({\omega }_2{x}_2+{\varphi }_{2i})+c_{2i}\right),1⩽i⩽m;\end{array}\\ & q_j(x_1,x_2)=\sigma \left(\sum _{i=1}^m{v}_{1i}(x_1)W_{ij}^{(1)}+\sum _{i=1}^m{v}_{2i}(x_2)W_{ij}^{(2)}+B_j\right),1⩽j⩽n.\end{array}$$
其中，$m$ 和 $n$ 是${\mathcal{L}}_p^{2D}$ 层的超参数，$q_j(x_1,x_2)(1\le j\le n)$表示该层的输出，常数 ${\omega }_1$和 ${\omega }_2$ 定义为
$${\omega }_1=\frac{2\pi }{L_1},{\omega }_2=\frac{2\pi }{L_2}$$
通过将任意 DNN 表示的函数与上述定义的 2D $C^{\infty }$ 周期层组合起来，就获得了一个整体 DNN，其输出自动且精确地满足 2D $C^{\infty }$ 周期条件。三个及更高维度的 $C^{\infty }$ 周期层可以用类似的方式定义。

精确 $C^k$ 周期条件

定理2.2 假设 $v(x)(x\in [a,b])$ 表示具有高达 $k$ 阶的连续导数并满足以下属性的给定函数，
$$v^{(l)}(a)=v^{(l)}(b),0⩽l⩽k$$
假设 $f(x)$ 表示在实轴上定义的任意函数，其连续导数高达 $k$ 阶。定义 $u(x)=f(v)=f(v(x))(x\in [a,b])$ 于是，
$$u^{(l)}(a)=u^{(l)}(b),0⩽l⩽k$$
作者希望找到 $[a,b]$ 上任意 $C^k$ 周期函数的 DNN 表示，使得 DNN 自动满足 $C^k$ 周期条件。为了在定理 2.2 中的 $[a,b]$ 上构造 $C^k$ 周期函数 $v(x)$，作者把目光转向了 Hermite 插值条件。因此可以使用次数最多为$(2k+1)$的Hermite插值多项式来构造 $v(x)$ 。
$$\{\begin{array}{ll}h(a)=s_0,h(b)=s_0;& \\ h^{\prime }(a)=s_1,h^{\prime }(b)=s_1;& \\ \cdots & \\ h^{(k)}(a)=s_k,h^{(k)}(b)=s_k.& \end{array}$$
于是，可以定义如下：
$$\{\begin{array}{l}p(x)=h(x)+(r_0+r_{1}x)(x-a{)}^{k+1}(x-b{)}^{k+1},\\ v(x)=\sigma (p(x))=\sigma \left(h(x)+(r_0+r_{1}x)(x-a{)}^{k+1}(x-b{)}^{k+1}\right),\end{array}$$
其中 $r_0$ 和 $r_1$ 是两个额外的可调参数，$\sigma (\cdot )$ 是非线性激活函数（例如“tanh”或“sigmoid”）。 上式中对应于 $k=0、1$ 和 $2$ 的 $p(x)$ 的显式形式由下式给出：
$$\begin{array}{rl}p(x)& =s_0+(r_0+r_{1}x)(x-a)(x-b),\text{ for }k=0;\\ p(x)& =s_0+s_1(x-a)(b-x)(a+b-2x)+(r_0+r_{1}x)(x-a{)}^2(x-b{)}^2,\mathrm{for}k=1;\\ p(x)& ={\xi }^3(x-a{)}^3\left[s_0+(-3s_0\xi +s_1)(x-b)+\left(6s_0{\xi }^2-3s_1\xi +\frac{s_2}{2}\right)(x-b{)}^2\right]\\ & +{\xi }^3(b-x{)}^3\left[s_0+(3s_0\xi +s_1)(x-a)+\left(6s_0{\xi }^2+3s_1\xi +\frac{s_2}{2}\right)(x-a{)}^2\right]\\ & +(r_0+r_{1}x)(x-a{)}^3(x-b{)}^3,\mathrm{for}k=2,\end{array}$$
其中 $\xi =\frac{1}{b-a}$ 。令 $f_{dnn}(x)$ 表示由深度神经网络表示的任意函数。根据定义的 $v(x)$，可以定义：
$$u(x)=f_{\mathrm{dnn}}(v(x))$$
此时根据定理 2.2 $u(x)$ 恰好满足 $C^k$ 周期条件。

同样，可以定义 $C^k$ 周期层内的操作定义如下。令 ${\mathcal{L}}_{C^k}(m,n)$ 表示 $C^k$ 周期层，其中 $n$ 表示该层输出中的节点数，$m$ 表示单个 $C^k$ 周期函数 $v(x)$ 集合的大小。 $m$ 和 $n$ 都是该层的超参数。给定输入 $x$，可以通过以下方式计算 $C^k$ 周期层 ${\mathcal{L}}_{C^k}(m,n)$ 的输出 $q_j(x_1,x_2)(1\le j\le n)$：
$$\begin{array}{rl}& v_i(x)=\sigma \left(h_i(x)+(r_{0i}+r_{1i}x)(x-a{)}^{k+1}(x-b{)}^{k+1}\right),1⩽i⩽m;\\ & q_j(x)=\sigma \left(\sum _{i=1}^m{v}_i(x)W_{ij}+B_j\right),1⩽j⩽n.\end{array}$$

实验结果

作者在周期函数、Helmholtz equation、 unsteady diffusion equation and the wave equation上进行了试验

周期函数

$C^{\infty }$ 函数

$$\begin{array}{r}{u}_1(x)=\sin (2\pi x+0.25\pi )+\cos (9\pi x-0.1\pi )-2\sin (7\pi x+0.33\pi )\end{array}$$

在域 Ω = { x ∣ 0 ⩽ x ⩽ 2 } \Omega=\{x|0\leqslant x \leqslant 2 \} Ω={x∣0⩽x⩽2} 上是 $C^{\infty }$ 周期函数。作者使用 $C^{\infty }$ 周期 DNN 以及 $k=0$ 和 $k=1$ 的 $C^k$ 周期 DNN 来近似 $u_1(x)$。

上图为训练过程中的损失下降情况，从上到下分别为 $C^{\infty }$ 、$C^0$ 、$。

上图为训练结果（第一排）和真实值误差（第二排），从左到右分别为$C^{\infty }$ 、$C^0$ 、$C^1$

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vgqdjdZB-1691159097012)(.A Method for Representing Periodic Functions and Enforcing Exactly Periodic Boundary Conditions with Deep/4.png)]

上表为训练结果在两个边界点上不同阶导数上的预测值，框中为大幅偏离真实值的预测，可以看到$C^{\infty }$ 在各阶导数上都优于其他两个，而$C^1$ 在一阶导数上优于$C^0$

$C^0$ 函数

$$u_2(x)=\sin \frac{\pi x}{2}$$

在域 Ω = { x ∣ 0 ⩽ x ⩽ 2 } \Omega=\{x|0\leqslant x \leqslant 2 \} Ω={x∣0⩽x⩽2} 上是 $C^0$ 周期函数，其中，$u_2(0)=u_2(2)$ 且 $u_2^{\prime }(0)\ne u_2^{\prime }(2)$

上图为训练结果（第一排）和真实值误差（第二排），从左到右分别为$C^{\infty }$ 、$C^0$ 、$C^1$

上表为训练结果在两个边界点上不同阶导数上的预测值，可以看到$C^0$ 在各阶导数上都优于其他两个（这里的框不知道是什么意思，可能是笔误？）

非周期函数

$$u_3(x)=\cos \frac{\pi x}{2}$$

在域 Ω = { x ∣ 0 ⩽ x ⩽ 2 } \Omega=\{x|0\leqslant x \leqslant 2 \} Ω={x∣0⩽x⩽2} 上是非周期函数。

上图为训练结果（第一排）和真实值误差（第二排），从左到右分别为$C^{\infty }$ 、$C^0$ 、$C^1$

上表为训练结果在两个边界点上不同阶导数上的预测值，可以看到虽然误差都很大，但两个边界点处的值都十分近似，可以表明网络确实强制执行了周期性边界条件。

总结

相比直接将输入 $x$ 通过三角函数映射到周期函数上，这个方法似乎只是多了一个可学习参数$\varphi$， 不太清楚这两者的区别。忘记是在哪看到的这篇文章了，好像是之前一篇文章的引用里，忘记为什么要看这片文章了，看来下次把文章加入待阅读列表的时候还是要备注一下的好。。。

相关链接：

• 原文：[2007.07442] A Method for Representing Periodic Functions and Enforcing Exactly Periodic Boundary Conditions with Deep Neural Networks (arxiv.org)