董彬教授：用深度神经网络学习偏微分方程及其数值求解的离散格式

2019年10月31日下午，在北京智源大会的“人工智能的数理基础专题论坛”上，北京大学副教授、智源学者董彬做了题为《Learning and Learning to Solve PDEs》的主题演讲（编者注：PDE，Partial Differential Equation，偏微分方程）。早在加州大学圣地亚哥分校（UCSD）攻读博士后期间，董彬便在图像反问题领域做了一系列开创性的研究，他同合作者一起建立了小波框架（Wavelet Frames）和变分模型（Variational Models）及偏微分方程（PDEs）的深层联系。

这一系列工作的意义在于[1]：1）赋予PDE方法稀疏逼近的解释，这是对PDE方法一个新的诠释；2）严格证明了离散化后的小波框架模型和迭代算法与对应的变分模型和PDE 模型的一致性，完善了这方面的理论工作；3）为小波框架方法赋予了几何解释，使得我们可以设计出几何意义更强的自适应小波框架算法，另一方面，小波框架模型和迭代算法也对应了一些全新的变分和PDE模型，从而进一步推动了图象反问题中PDE方法的发展；4）为探索PDE和深度学习的联系、寻求机理与数据融合建模与计算提供了一定的理论基础。

 

从中我们可以看到董彬做研究的一个特点，就是将数学中的不同分支融合，包括桥接小波框架理论、变分技术和非线性PDE，将稀疏逼近与统计学和机器学习相结合。本次讲座，董彬给我们介绍了他最近的两个核心工作成果：第一，如何结合深层神经网络和PDE数值解，从观测数据反推出数据背后未知的PDE模型。第二，如何使用人工智能的重要分支--强化学习，学习数值求解守恒律偏微分方程的离散格式，尤其是在解的非光滑部分寻求更佳的数值逼近。

文章整理：钱小鹅

编辑：王炜强

01

 PDE-Net 2.0:

LearningPDEs from Data

微分方程，特别是偏微分方程，可以用来描述一个给定系统的基本物理定律，因此在许多学科中扮演着重要的角色。传统上，偏微分方程是基于数学或物理原理推导而成的，例如从量子力学中的薛定谔方程到分子动力学模型，从玻尔兹曼方程到Navier-Stokes方程等。然而，许多领域（如神经科学、金融学、生物科学等）中的复杂系统背后的机制仍然普遍不清楚，这些系统的控制方程通常通过经验公式获得。近二十年来，随着传感器、计算能力和数据存储技术的飞速发展，大量的数据可以很容易地被收集、存储和处理。如此大量的数据为数据驱动的机理/定律探索提供了新的方法和手段。因此，很多人可能会问一个非常有趣问题：我们是否可以从观测（或者高精度数值计算）得到的复杂动态数据出发，利用计算的手段，学习出背后的驱动PDE模型？

 

最早尝试使用数据来驱动发现隐藏物理定律可以追溯到2007年 Josh Bongard 和Hod Lipson的工作，其主要思想是将实验数据的数值微分与候选函数的解析导数进行比较，并将符号回归和进化算法应用于非线性动力系统。在计算机视觉领域，北京大学林宙辰团队也提出利用PDE控制的框架，对PDE的待定系数进行回归，从数据中去学习图像处理所需的PDE模型。当PDE的非线性响应函数的形式已知时，Maziar Raissi 和 George Em Karniadakis提出了一种利用高斯过程在两个连续时间步长之间引入正则性来学习未知标量参数的框架。       

  

2016年，Steven LBrunton等人贡献了另外一种方法：非线性动力学稀疏辨识（SINDy）。SINDy的核心思想是首先构造一个由简单函数和偏导数组成的线性字典，这些函数和偏导数都可能出现在方程中；然后，利用稀疏性从字典中选择能够最准确地拟合数据的函数形式。2017年，Emmanuel de Bezenac等人将深度学习中的神经网络引入其中，用于研究海面温度预报问题。Bezenac首先假设上述问题的物理模型是一个对流扩散方程，根据方程的通解设计了一个特殊的神经网络。与传统的数值方法相比，该方法在精度和计算效率上都有较大的提高。

 

我们看到，很多科研工作者已经在积极的寻找数据驱动PDE建模、从得出的PDE再探索物理规律的方法，但是目前的方法仍然存在一些弊端：

• 一般情况下（除非先验知识充分），我们首先需要建立一个足够大的字典用于搜索合适的PDE模型，但是当模型变量较多时，这可能导致较高的内存和计算成本；