全文共 5838字,预计学习时长 20分钟或更长
![a24f63df024fe3c4d8cbaafde5f7def5.png](https://i-blog.csdnimg.cn/blog_migrate/f855a57ebccb4138db5c9047c5fcee5b.jpeg)
图片来源:unsplash.com/@alinnnaaaa
![0131b9386cdf817ba8b7ce760a05625d.gif](https://i-blog.csdnimg.cn/blog_migrate/8d4e1a6fae364ea11d05d3239e0ace03.gif)
神经常微分方程学习动力系统的图像
今天,本文将带你回顾2018年度神经信息处理系统大会(NIPS)中的最佳论文奖:《神经常微分方程》(Neural ODEs)Neural Ordinary Differential Equations。
论文传送门:https://arxiv.org/abs/1806.07366
这篇文章的重点将介绍神经常微分方程的实际用途、应用这种所需的神经网络类型的方式、原因以及可行性。
GitHub代码传送门:https://github.com/Rachnog/Neural-ODE-Experiments
![d58d1996bb20226a37803b9c8cae7f80.png](https://i-blog.csdnimg.cn/blog_migrate/be84ef9b054cf0f5f58fdc4f2cbf9d1a.jpeg)
为什么需要关注常微分方程?
首先,快速回顾一下什么是常微分方程。它描述了某个变量(这就是为什么是常微分)在某个过程中的变化,这种随时间的变化用导数来表示为:
![ac6eba95a2555154730752aad7d3d965.png](https://i-blog.csdnimg.cn/blog_migrate/f17e8ee87a426a909adf56233e570695.jpeg)
简单的常微分方程例子
如果存在一些初始条件(变化过程的起始点),并且想要观察该过程将如何发展到某个最终状态的话,我们可以探讨此微分方程的求解。函数解也称为积分曲线(因为可以对方程进行积分得到解x(t))。让我们尝试使用SymPy包来求解上图中方程:
from sympy import dsolve, Eq, symbols, Functiont = symbols('t')x = symbols('x', cls=Function)deqn1 = Eq(x(t).diff(t), 1 - x(t))sol1 = dsolve(deqn1, x(t))
则会得出
Eq(x(t), C1*exp(-t) + 1)
其中C1是常数,可以在给定一些初始条件的情况下确定。如果以适当的形式给出,则可以用解析法求解,但通常用数值法求解。最古老、最简单的算法之一是欧拉法。其核心思想是用切线逐步逼近函数解:
![17b26fcf157e81b381bab7cb7ef47e06.png](https://i-blog.csdnimg.cn/blog_migrate/730186127e108ef44a08c19fbdc3a270.jpeg)
http://tutorial.math.lamar.edu/Classes/DE/EulersMe
请访问图片下面的链接以获得更详细的说明。但最后,对于此方程,我们可得出一个非常简单的公式:
![6729e58ae5766c5ffe06a11f8597e344.png](https://i-blog.csdnimg.cn/blog_migrate/e4bc888927226fcb1c17f050c23101ce.jpeg)
http://tutorial.math.lamar.edu/Classes/DE/EulersMe
在n个时间步长的离散网格上的解为:
![4455f330206a4ca1b53f72fbdc5f4eaa.png](https://i-blog.csdnimg.cn/blog_migrate/3d3486e72d85c1df210a69f9df90564a.jpeg)
http://tutorial.math.lamar.edu/Classes/DE/EulersMe