Learning nonlinear operators for identifying differential equations

最新推荐文章于 2024-09-27 22:55:17 发布

TowerCrane2C

最新推荐文章于 2024-09-27 22:55:17 发布

阅读量1k

点赞数 8

文章标签：深度学习神经网络

本文链接：https://blog.csdn.net/qq_72488259/article/details/136411183

版权

作者介绍：

Division of Applied Mathematics, Brown University 布朗大学应用数学系

LESC，ICMSEC

![image.png](Lu等的DeepONet:+Learning+nonlinear+operators+for+identifying+differential
equations+based+on+the+universal+approximation+theorem+of 在这里插入图片描述

operators+23899b1f-03b4-4f50-9749-30087e442897/image.png)

![image.png](Lu等的DeepONet:+Learning+nonlinear+operators+for+identifying+differential
equations+based+on+the+universal+approximation+theorem+of
operators+23899b1f-03b4-4f50-9749-30087e442897/image 1.png)

第一作者 Lu Lu PINN的研究，以及红细胞的相关研究

ORCID（全球科研人员的学术身份证）：

https://orcid.org/0000-0002-5476-5768

George Em Karniadakis （布朗大学） PDE、PINN、deepOnet的相关研究，以及物理和生物学系统**physical and biological systems (especially the brain)（from https://www.cfm.brown.edu/faculty/gk/），**以下是他讲解deepOnet的视频

https://www.bilibili.com/video/BV15341177x2/?vd_source=83444af567ef1cd68516b404a00da866

https://www.bilibili.com/video/BV1Ae411r7ND/?spm_id_from=333.337.search-card.all.click&vd_source=83444af567ef1cd68516b404a00da866

下面的链接是讲解此论文的，但是比较难懂

前提条件：

范数是一种将向量空间中的向量映射到非负实数的函数，Banach空间是一个完备的赋范空间，with norm应该是代表“赋范”过程

compact set紧集在这个集合中，无论怎么选择一个无限序列，总能找到一个部分序列，它最终会收敛于集合内的某个点。

输入函数u(x) 输出函数s(x) 在实践中离散为信号

算子：输入到输出函数空间的一个映射

f:函数或泛函

G：算子（operator）

activation function 激活函数

sensor point 训练的数据点

主要内容：

目的：学习得到算子G

（与算子相关的）无限逼近定理Universal Approximation Theorem for Operator

![5a1e84ec2a9eb90060b978d42ab32b1.jpg](Lu等的DeepONet:+Learning+nonlinear+operators+for+identifying+differential
equations+based+on+the+universal+approximation+theorem+of
operators+23899b1f-03b4-4f50-9749-30087e442897/5a1e84ec2a9eb90060b978d42ab32b1.jpg)

最主要的图：

图1：输入分为两部分, 分别是u(x1)……u(xm) y

放入一个网络，输出G(u)(y)

这个网络可以选择传统网络FNN，把 $[u(x_1)……u(x_m),y]^\mathsf{T}$ 直接放进去

![4328969b07c6e8c8541fc1ff2786218.jpg](Lu等的DeepONet:+Learning+nonlinear+operators+for+identifying+differential
equations+based+on+the+universal+approximation+theorem+of
operators+23899b1f-03b4-4f50-9749-30087e442897/4328969b07c6e8c8541fc1ff2786218.jpg)

图3 p个分支网络并行堆叠，“堆叠DeepONet”

考虑到y和u(xi)维数不同，用两个网络分别处理，y通过主干网络输出p个t，u(xi)经过p个分支输出b，根据Theorem 1得到近似：

虽然Theorem 1未提到偏置，但增加偏置可以提高泛化性能，如下式：

图4“非堆叠DeepONet”

p>10，而实践中大量分支网络太过占用计算和内存，于是将p个分支网络合并成一个，单个网络输出p个b

采集数据：从两个函数空间高斯随机场(GRF)和正交(切比雪夫)多项式

高斯随机场(GRF)

正交(切比雪夫)多项式，在[-M,M]随机采样ai得到u

用龙格-库塔(4,5)法求解ODE系统，用二阶有限差分法求解PDEs得到参考解。则一个数据点是一个三元组(u, y, G(u)(y))

结果：得到了数个u，每个u对应数个y和G(u)(y)

一个采样的实例：动力学系统

G(u)就是s，都是output function，对下式求导/令x=a就得到上式

采样x，定义u

定义Um,Wm,W等紧集，得到这样的近似理论

结果

第一个例子：一维动力学系统

depth from 2 to 4, width from 10 to 2560, and learning rate from 0.0001 to 0.01

深度（Depth）：指神经网络的层数。从2到4的深度意味着网络将有2至4层的隐藏层。
宽度（Width）：指每一层中神经元的数量。从10到2560的宽度范围意味着在每一层中，神经元的数量会在10到2560之间变化。
学习率（Learning Rate）：是训练神经网络时用来更新权重的参数，决定了每次参数更新的步长。（可更新的参数一般是权重（weights）和偏置（biases））
迭代（Iterations）: 使用一批数据使用一个批次（batch）的数据进行前向传播、计算损失函数、反向传播，并更新参数。一个周期（Epoch）通常包含多次迭代。

FNN与DeepOnet比较：

FNNs的结果D2W10就是深度2层宽度10个神经元，从上到下，学习率分别为0.01 0.001 0.0001，阴影是10组改变条件（训练数据、初始条件）的数据集（10 runs with random training dataset and network initialization）得到的一些SD

(A)带有偏差的未堆叠DeepONet的训练轨迹（B）各种对比，使用的是10个改变条件（训练数据、初始条件）数据集

是否堆叠的比较：

A 随着Training，是否堆叠的训练和测试误差都变小，

B 10个改变条件（训练数据、初始条件）的数据集的结果

C MSE 非堆叠测试机MSE小，泛化性好

得出结论，使用非堆叠的方法

第二个例子：

This problem is characterized by three factors:

(1) k,

(2) maximum prediction time T,

(3) input function space.

The accuracy of learned networks is determined by four factors: