知识基础补充
PINN的原理就是通过训练神经网络,来最小化损失函数,使得神经网络接近于偏微分方程的解
损失函数是初始和边界条件的残差项,以及求解域内部偏微分方程的残差.
训练完成后进行推断就可以得到时空上的解了.
首先我们构建一个神经网络来作为方程的解
给定对应的时空变量x,t,神经网络可以给出对应的数值解u
(注意真实解u帽和u有一定距离)
损失函数Lb主要使得u帽满足边界条件;
Lf用于构建域内部解的损失Lf(主要使得u帽满足BG方程本身),需要按照BG方程的结构求解u帽对于时空变量xt的梯度,并带入方程,使得方程此处等于0。
下面把两部分进行加权求和,得到总损失L
训练的过程就是不断优化cita,使得总损失最小(也就是u帽满足BG方程的边界条件以及方程本身)
背景
机器学习技术的逼近能力有限,这些模型可能无法保证期望的预测结果,并且对于复杂的非线性PDE系统,往往会产生不准确的解。
提出DNN解决->PINN解决(PINN的问题):尽管基于PINN的方法看起来很简单,但这些方法在满足所有方程残差(特别是边界条件)方面通常会遇到困难,导致一些局部解的收敛速度慢或近似结果不稳定。->其他人的改进是有监督学习->提出无监督的学习
Methodology
介绍了 PINN的过程与不足
模型的输入是什么:DFS-Net 使用随机时空点坐标作为代理方法的输入。
损失函数:由控制方程残差和边界 / 初始条件项构成
加权思想:中心点比边缘点更富有信息(中间的点加权大)
数据增强:
引入线性扩展层作为DFS网络中的数据增强
我的理解(增加了非线性性?)
激励块:以进一步提高DFS网的逼近能力。激励块是建立在两个层之间的变换上的计算单元。它将最后一个隐藏层的输出作为输入,并生成每个信道调制权重的集合,这可以看作是一种简单的自选通机制。
(1)固定激励模式和(2)非固定激励模式。
整体结构:
为了缓解代理求解方法在不同子域(例如,计算域内部或近壁区域)上的预测结果不稳定问题,DFS-Net使用了一种点加权机制来校准随机采样训练点的权重。
此外,方法还引入了基于注意力的激励块**(excitation block)**来提高方法的拟合精度并加速训练。