PINN物理驱动的深度学习方法入门到详解

1.物理驱动的深度学习方法

• PINN综述-Blog介绍
  • 内嵌物理知识神经网络 （Physics Informed Neural Network，简称PINN） 是一种科学机器在传统数值领域的应用方法，特别是用于解决与偏微分方程 （PDE） 相关的各种问题，包括方程求解、参数反演、模型发现、控制与优化等。
    综述论文
• Physics Informed Machine Learning – A Taxonomy and Survey of Integrating Prior Knowledge into Learning Systems
• Integrating physics-based modeling with machine learning: A survey
• Scientific Machine Learning through Physics-Informed Neural Networks: Where we are and What’s next
• 基于神经网络的偏微分方程方法综述，中文综述

2.物理驱动深度学习方法几点讨论

2.1 物理信息驱动的深度学习相比于传统数值方法的潜在优势

刚接触到物理驱动的神经学习方法时，总会有一些疑惑：物理驱动的深度学习方法在求解一些物理系统（由物理方程所描述控制的系统）时，需要已知一些物理信息如偏微分方程。但传统数值方法发展这么多年了，如有限差分、有限体积方法已经非常成熟，也成功用于物理系统的求解，求解准确性非常高。物理驱动的深度学习如神经网络方法相比于传统数值方法有哪些潜在优势？

• 反问题计算上有比较大的优势。传统数值方法主要针对复杂问题的正计算，如已知边界条件、已知控制方程下的正计算，优势非常强。相比之下，在正计算问题上，深度学习方法逊色一些。但针对一些反问题，如已知一些测量数据和部分物理（方程中某些参数未知、边界条件未知），深度学习方法可以形成数据和物理双驱动的模型，比基于传统数值方法去做数据同化（data assimilation）效率更高。
• 需要做快速推断时，优势更明显。一方面，当面对一些数值问题，可以不需要熟悉数值方法背景（不必利用数值格式去推导求解），可以直接利用加物理损失的方法得到一个参考解；另一方面，当问题边界需要不停地换，或者很多源需要不停的变化的问题设定下，如果利用大量时间去训练一个网络，如利用lulu老师提出deeponet方法 [1]（物理驱动的神经网络方法），在推断阶段就能实现快速预测。
• 高维问题上的潜在优势。神经网络确实能处理许多高维问题，但很难说神经网络方法在一些benchmark问题上已经完全超越了传统问题，还需要进一步讨论。

[1] Lu L, Jin P, Karniadakis G E. Deeponet: Learning nonlinear operators for identifying differential equations based on the universal approximation theorem of operators[J]. arXiv preprint arXiv:1910.03193, 2019.
[2] VALSE Webinar 22-15，AI for Science之物理信息驱动的深度学习.

2.2 先验物理嵌入深度学习模型研究重要进展和趋势

近年来，物理信息驱动的深度学习方法发展迅速，已成功用于求解流体、医学、材料等领域的科学计算问题。将物理先验知识嵌入深度学习模型和算法中，可提高学习效率和能力，目前这个方向有哪些重要进展和趋势？

• 物理嵌入方式方法上。当前，物理信息驱动的深度学习方法主要有以下几种物理嵌入的方式：
  - 通过对网络结构特殊设计嵌入物理。如已知微分方程有一阶导和二阶导，可将 一阶导和二阶导嵌入到网络模型中，这可以看做是一种直觉的嵌入，能够提高网络的学习，但这并不是必须地，一定能提高网络学习能力，而是直觉上觉得应该能提高。
  - 某种意义上的hard constraint。如微分方程边界满足一些条件（如周期性、连续性），可以通过设计网络严格满足这些条件。
  - 从网络学习上。经典如PINN，直接通过将控制方程编码到损失函数中约束可行解。
  - 很多知识通过数据隐式表现（如模拟数据）如何利用这些数据。如一张猫的图片通过旋转变换但还是一只猫，只是引入了旋转物理知识，这些数据仍能用CNN分类猫的数据。
• 量化不确定性。基于模型的这些预测方法（物理和数据混合驱动的深度学习方法），总归是对于现实的近似，如何通过一些真实数据进行修正预测，量化预测不确定性。
• 如何从data数据中extract知识。对于现实实际问题，我们会遇到一些实验真实数据、以及模型的仿真数据（可视为低保真数据），如何利用这些数据获得high-level的知识。从物理先验知识的完备程度，可分为
  - 物理知识完备。这种设定下可以有一些数据，也可以没有数据。
  - 物理先验半完备，物理知识半已知，需要一些数据，如已知方程但系数未知的问题（对流扩散系统中的扩散系数）。
  - 物理完全不已知，只有数据。一部分研究可将符号强化学习和解析树结合（任何方程可用树的形式描述），设计符号学习的方法把特定解析树形式找出来，同时这样的解析树能够很好拟合测量数据。

[1] VALSE Webinar 22-15，AI for Science之物理信息驱动的深度学习.

2.3 神经网络在求解PDE时的重要理论问题

• 从频率角度看待收敛性问题。利用深度学习神经网络求解一些微分方程时，存在了一些较难解释的现象，如求解某些方程就很快收敛，而对于解其他方程就较难收敛。许志钦老师从频率角度进行了相关研究，发现在没有特别的网络构造下，一般情况下，低频收敛较快，高频收敛较慢。更重要深入的研究去分析网络收敛，发现利用网络求解高阶导数时网络收敛会更不稳定。
• 适定性问题研究。求解PDE（边界和控制方程确定）时，方程的解是适定的，但是利用神经网络求解PDE得到解并不适定。例如，激波函数有间断，利用采样难以采样得到间断的点构成损失函数，神经网络可能就会出现多解。许志钦老师发现，对于一些问题，不加入精确网络解而使用一些粗糙网格解，但是网络学习确能学习到一个较为精确的解。
• 损失震荡持续下降问题。特别是利用神经网络求解PDE时，训练过程损失会出现正当持续下降的现象。
• 如何在不训练网络下做误差分析，给出网络的一些收敛阶。对于一些传统数值方法，可以理论推导收敛阶，利用程序实现后也与理论相符合。而神经网络在不训练下，并不知道网络会学出什么结果，距离传统数值方法收敛分析还有很大距离。此外，现在的物理驱动的深度学习方法相比于深度学习方法解决视觉上的一些任务泛化性更差一些。

2.4 面临的理论、算法和应用方面的主要挑战与可能的解决方法

• 严格嵌入物理。物理信息不是简单加到损失函数中进行优化，而且设计网络时，严格嵌入网络结构中，使得网络输入输出严格满足物理约束，再去做优化。一种思路，能否将传统数值方法优势叠加到网络设计中可能使得求解优化问题变得更简单，也是当前研究一大难点。
• 应用上可进一步发展。理论上进一步难做，但目前来看，往应用问题上进一步发展还是非常有前景。物理驱动深度学习方法在前面讲到在逆问题上的优势，对于传统数值方法在某些逆问题上很难求解甚至无法求解，但利用深度学习神经网络的灵活性，能求解以前不能做的问题并将误差降到勉强能接受的问题。
• benchmark的研究。提出的方法能够在同样的问题上验证算法。

3.物理信息驱动深度学习论文清单

3.1 内嵌物理神经网络（PINN）论文清单

论文清单链接，主要根据以下分类罗列了当前部分论文

• 1）定义问题, 建立工程架构
• 2）网络结构选择
• 3）不确定性结合
• 4） 超参与元学习
• 5） 区域划分
• 6） 逆问题论文阅读
• 7）Loss权重修改与优化算法
• 8） 与迁移学习结合
• 9） 与元学习结合
• 10） 应用论文
  - 波场
  - 压力
  - electromagnetic simulation
  - 流体
  - 单独涉及求解方程
  - 医学
  - 地质勘测
  - Subsurface transport
  - Fiber Optics和材料
  - 求解热问题
  - 基于内嵌物理神经网络的重构问题
• 11） 物理知识与数值方法结合
• 12） PINN的加速研究
• 13） 基于PINN的求解库
• 14） 多保真与PINN结合
• 15） 其他

4 物理信息驱动深度学习相关报告

• 内嵌物理的深度学习，机器之心。

  • 报告人：麻省理工学院陆路老师。
  • 报告内容：本次分享将回顾将物理知识嵌入机器学习的一些趋势，介绍当前的一些常用方法，包括内嵌物理的神经网络（physics-informed neural networks，PINNs）、多保真度神经网络（nulti-fidelity neural networks）和深度算子网络（DeepONet），同时还将讨论这些方法在求解物理和工程问题上的一些应用，特别是在反问题求解上的应用。
  • PPT：https://lululxvi.github.io/files/talks/2021Synced.pdf

• A Short Introduction to Physics InformedNeural Networks (PINNs)，b站。

  • 报告人：李军博士，谢毅博士，殷会敏博士，刘旭博士。

• 气动优化设计中的可解释可迁移机器学习研究，WS-FTNCFD-2022。报告人：清华大学李润泽博士。

• leaning operators using deep neural networks for diverse application，哔哩哔哩。

  • 报告人：麻省理工学院陆路老师。
  • 该报告主要介绍了陆路老师关于deeponet相关工作。