PhaseDNN: 采用相位技术与神经网络来求解高频波问题

大概从18年开始， 许志钦老师写了一系列有关DeepLearning 与Frequency有关的文章， 里面讲述了深度学习与傅里叶变换之间的关系， 具体可以参见许志钦老师的主页（现在在交大工作） https://ins.sjtu.edu.cn/people/xuzhiqin/
今天，我们介绍一篇与之相关的文章， 题目为:A PHASE SHIFT DEEP NEURAL NETWORK FOR HIGH FREQUENCY APPROXIMATION AND WAVE PROBLEMS. 文章的作者是 Southern Methodist University 的Wei Cai 教授， 下面我们进入正题：
许志钦老师发现了一个现象： 在深度学习中， 将梯度下降方法应用到损失函数时，低频部分的收敛速度要高于高频部分
用定理描述便是
此处我们借用许老师的gif来看这一点（第一张图是原始空间，第二张图是频率空间）（详情见https://ins.sjtu.edu.cn/people/xuzhiqin/fprinciple/ldexperiment.html）


我们的核心想法便是通过相变技术把高频部分转化为低频部分，这样便可以加快网络的收敛速度。

并行方法

具体来说，对于一个给定的频率增量 $\Delta k$, 我们说 $\Delta k=2k_0,$ 假定存在某个整数 M>0
$$supp\hat{f}(k)\subset [-M\Delta k,M\Delta k]$$我们可以构造一个网格区间 $[-M\Delta k,M\Delta k]$ ，其中$${\omega }_j=j\Delta k,j=-M,\cdots ,M.$$我们引入一个单元剖分 { ϕ j k } j = − M M \{\phi_j^k\}_{j=-M}^{M} {ϕjk​}j=−MM​ for the interval $[-M\Delta k,M\Delta k]$ $$1=\sum _{j=-M}^M{\varphi }_j(k),k\in [-M\Delta k,M\Delta k]$$
${\varphi }_j(k)$ 最简单的选择便是 ${\varphi }_j(k)=\varphi (\frac{k-{\omega }_j}{k}),$ 此时 $\varphi (k)={\chi }_{[-\frac{1}{2},\frac{1}{2}]}.$ 我们计算${\mathcal{F}}^{-1}\varphi (k)$的Fourier逆变换 , 记作 v, 即 ${\varphi }^{\vee }(x)=\frac{1}{\sqrt{2\pi }}\frac{sin(x/2)}{x/2}$ ,我们将 $f(x)$ 在Fourier空间分解$$\hat{f}(k)=\sum _{j=-M}^M{\varphi }_j(k)\hat{f}(k)=\sum _{j=-M}^M{\hat{f}}_j(k)$$对应着X空间的分解为$$f(x)=\sum _{j=-M}^M{f}_j(x)where{f}_j(x)={\mathcal{F}}^{-1}[{\hat{f}}_j](x)$$可以看出，我们将$f(x)$分为2M+1个函数$f_j$ ,其中每个$f_j$的频率均限制在区间 $[{\omega }_j-\frac{\Delta k}{2},{\omega }_j+\frac{\Delta k}{2}]$之内，因此, 我们可以通过简单的相变来将其频谱变换在$[-\frac{\Delta k}{2},\frac{\Delta k}{2}]$之内，我们可以通过简单的DNN来快速求解 $T_j(x)$.

具体来说，以你为 ${\hat{f}}_j(k)$ 的支集为 $[{\omega }_j-\frac{\Delta k}{2},{\omega }_j+\frac{\Delta k}{2}],$ 所以 ${\hat{f}}_j(k-{\omega }_j)$ 的支集为$[-\frac{\Delta k}{2},\frac{\Delta k}{2}],$ 对应的 Fourier 变换
$$f_j^{shift}(x)={\mathcal{F}}^{-1}[{\hat{f}}_j(k-{\omega }_j)](x)$$
可被一个DNN $T_j(x;\theta )$ 通过 $n_0$ 次迭代极小化损失函数$$L_j(\theta )={\int }_{-\infty }^{\infty }|f_j^{shift}(x)-T_j(x;\theta {|}^{2}dx$$得到。
另外，由 Fourier 的性质有$$f_j^{shift}(x_i)=e^{i{\omega }_j{x}_i}{f}_j(x_i),1\le i\le N,$$
一旦我们学习到 $f_j^{shift}(x)$ , $f_j(x)$ 就可以通过相位变换得到, 即
$$f_j(x)\approx e^{i{\omega }_{j}x}{T}_j(x,{\theta }^{(n_0)}).$$得到所有的$f_j(x)-M\le j\le M$ 之后，我么那边可以逼近$f(x)$$$f(x)\approx \sum _{j=-M}^M{e}^{-{\omega }_{j}x}{T}_j(x,{\theta }^{(n_0)}),$$
其中 ${\theta }^{(n_0)}$ 是 $n_0$ 次训练迭代次数之后的参数值。.
我们的目标是使用如下数据来学习$f(x)$
{ x i , f i = f ( x i ) } i = 1 N . \{x_i,f_i=f(x_i)\}_{i=1}^N. {xi​,fi​=f(xi​)}i=1N​.
我们通过如下卷积公式来计算 $f_j^{shift}(x)$
$$\begin{array}{rl}{f}_j^{shift}(x)& =e^{i{\omega }_j{x}_i}{\varphi }_j^{\vee }\ast f(x_i)=e^{i{\omega }_j{x}_i}{\int }_{-\infty }^{\infty }{\varphi }_j^{\vee }(x_i-x_s)f(x_s)ds\\ & \approx \frac{a\delta }{N_s}{e}^{i{\omega }_j{x}_i}\sum _{x_s\in (x_i-\delta ,x_i+\delta )}{\varphi }_j^{\vee }(x_i-x_s)f(x_s),\end{array}$$
其中 $\delta$ 满足核函数 $|{\varphi }^{\vee }(k)|$ 在区间 $(-\delta ,\delta ).$之外足够得小.

耦合方法

上述方法有很大一部分时间被用来卷积计算（虽然可以并行计算），故我们考虑耦合的方法，即

其中 $T_m$ 是 DNN 逼近, T(x) 是最后解的逼近.

数值实验

我们采用耦合的方法来复刻文章中的两个数值实验

拟合函数

考虑如下高频函数

其中， $x\in [-\pi ,\pi ].$ 由于它的频谱不是连续的， 故我们只需考虑离散的谱, $\Delta k=5,$

具体细节为

• DNN structure： 1-40-40-40-40-1
• 训练数据 10000个（从$[-\pi ,\pi ]$ 上从均匀分布采样）
• 测试数据 10000个（从$[-\pi ,\pi ]$ 上从均匀采点Evenly）
• Adam 初始学习率0.002
• 迭代次数 1000
• Batchsize 2000
  训练结果为
  
  局部结果为
  $L^2$相对误差为
  

求解方程

考虑如下方程

精确解为

λ = 3 , μ = 250 , o m e g a m = { 0 , μ } , \lambda=3,\mu=250,omega_m=\{0,\mu\}, λ=3,μ=250,omegam​={0,μ},数值结果如下

局部结果为

训练误差为