黎曼流形学习的学习笔记(2):Neural Ordinary Differential Equations(来源：NIPS 2018 oral) (未完待续)

作者想解决的问题：这是一篇提出新模型的论文，把输入和输出当作微分方程在不同时刻的解，这样做可以节省很多空间，因为不需要计算每一步的具体结果，只需要保存得到的函数。

思路：由于残差网络 (空间上) 和RNN单元 (时间上) 往往都是可以复用的，这里使用ODE方程解出关于时间的方程，可以得到一连串的数据，与原有标签进行对比，更新网络后使得ODE方程的可以得到原有标签的解。但是这篇文章主要是用Neural ODE网络代替ResNet网络，并不是全面替代MLP，CNN，RNN，这些基础网络依旧可以是Neural ODE的组成部分。

        有一个很大的误区 (对我而言) 在于这里神经网络不再是去拟合数据本身，而是拟合数据的变化趋势。但是这两种方法属于不分伯仲的地位，现在没有很充分的证据说明拟合变化趋势一定好，但是在序列类分布下的数据应该是有天然的优势的。

给出残差网络和ODE的区别：

(来自这篇论文的海报)

        残差网络的最终输出就是神经网络的输出加上神经网络的输入，而ODE-Net的最终输出则是神经网络作为原函数在时间上 (深度上)的积分。注意这里的ODE-Net不是简单的相加，或者说不是有限的相加了。

        那么下一个问题来了，怎么去训练他呢？直接更新参数就能得到符合变化趋势的解了吗？

        在一般的深度学习中，依赖的是随机梯度下降算法来更新参数，但是对于这里的NODE方程往往是没有解析解的，因此作者引入了伴随法进行求导，这个方法非常类似于拉普拉斯算法，利用了某个导数的特殊性质，因而跳过了一些求导过程。

从而引出本文中对我而言最重要的内容：Continuous Normalizing Flow， CNF。

还有一些写的非常好的Neural ODE的笔记资料：

Understanding Adjoint Method of Neural ODE - 知乎

David Duvenaud · Bullshit that I and others have said about Neural ODEs · SlidesLive

对于Neural ODE的小研究_冲冲冲！-CSDN博客

https://towardsdatascience.com/the-story-of-adjoint-sensitivity-method-from-meteorology-906ab2796c73

https://vaipatel.com/deriving-the-adjoint-equation-for-neural-odes-using-lagrange-multipliers/