Neural Network Technique in Some Inverse Problems of Mathematical Physics_Vladimir

Neural Network Technique in Some Inverse Problems of Mathematical Physics

---

作者：

• Vladimir I. Gorbachenko1, Tatiana V. Lazovskaya2, Dmitriy A. Tarkhov2, Alexander N. Vasilyev2(B),and MaximV.Zhukov1
• 1 Penza State University, 40 Krasnaya Street, 440026 Penza, Russia gorvi@mail.ru, maxim.zh@gmail.com

2 Peter the Great St. Petersburg Polytechnical University
日期：

• 02 July 2016

会议：
International Symposium on Neural Networks

---

摘要：

• 提出了两种方法求PDE逆问题
• 一种是利用Morozov’s condition求解PDE方程中的参数
• 一种是结合RProp and the cloud methods

1 方法

本质上是一种内嵌物理的方法

• 问题：

微分方程
$$Lu(\mathbf{x})=f(\mathbf{x}),\mathbf{x}\in \Omega$$
边界：
$$Bu(\mathbf{x})=p(\mathbf{x}),\mathbf{x}\in \partial \Omega$$
附加条件：
$$Du(\mathbf{z})=\psi (\mathbf{z}),\mathbf{z}\in Z\subset \partial \Omega \cup \Omega$$
定义误差函数
$$J=J_1+{\delta }_b{J}_b+{\delta }_d{J}_d$$
其中

$$\begin{array}{rl}{J}_1& =\sum _{i=1}^{M_1}{\left(L\hat{u}\left({\mathbf{x}}_i\right)-f\left({\mathbf{x}}_i\right)\right)}^2\\ J_b& =\sum _{i=1}^{M_2}{\left(B\hat{u}\left({\mathbf{t}}_i\right)-p\left({\mathbf{t}}_i\right)\right)}^2\\ J_d& =\sum _{i=1}^{M_3}{\left(D\hat{u}\left({\mathbf{z}}_i\right)-\psi \left({\mathbf{z}}_i\right)\right)}^2\end{array}$$
将求解过程变成优化问题，利用神经网络来计算，将变量形式
$$\hat{u}=\sum _{i=1}^N{c}_{i}v\left(\mathbf{x},{\mathbf{a}}_i\right)$$
其中a,c是神经网络权重，v是函数。

1.1 方法1

使用network of radial basis functions (RBFs) with gaussian basis elements

• 在$$\bar{\Omega }=\Omega \cup \partial \Omega$$中随机采点
• 在$$\bar{\Omega }=\Omega \cup \partial \Omega$$中随机选一些固定的test point

修正信赖域方法去学习RBF-net，原理如下，在每一次迭代中，最小化的函数都用一个二阶多项式在先前近似的足够小的邻域内近似。这个邻域称为信任区域。进一步，在这个区域内寻找多项式的最小值。取相应的最小值点作为对所要求的全局最小值的新的近似，重复迭代过程，直到停止条件实现为止。
在这个问题上迭代方法选择Morozov’s condition，神经网络训练只要
$$J_d>M_3{\delta }^2$$

1.2 方法2

使用combined algorithm（RProp and the cloud method）

• 假设测试点集合在相应区域内均匀分布。这些测试点在优化算法的若干步骤后被随机地重新生成。这种再生方法可以避免神经网络过拟合
• 在每个测试点更新后，增加神经元，然后对新的网络权值进行调整，并将得到的误差函数值与之前的误差函数值进行比较。如果错误增加，一个新的求和将被排除在解决方案之外。

2 结论

• 这算是前期的探索了，虽然损失函数的定义也用到了类似PINN的思路，但是没有用到自动求导来寻找全局最优解
• 采用了RBF-net，选择Morozov’s condition作为收敛条件
• 使用增加神经元的方法，看增加了后的损失函数有没有减少，这样的算法也太过简易了吧