在深度学习中，基于梯度下降的算法是目前最主流的参数优化方法，例如SGD，Adam等等，不过这次介绍的论文就提出了另外一种用来训练神经网络参数的方法。先简单概括一下，论文的核心思想是将神经网络看作是一个动力学系统，而把对网络的训练过程看作是如何实现对这个动力学系统的最优控制，按照这样的思路，作者基于庞特里亚金极大值原理（Pontryagin's maximum principle, PMP）设计了一...
在深度学习中，基于梯度下降的算法是目前最主流的参数优化方法，例如SGD，Adam等等，不过这次介绍的论文就提出了另外一种用来训练神经网络参数的方法。先简单概括一下，论文的核心思想是将神经网络看作是一个动力学系统，而把对网络的训练过程看作是如何实现对这个动力学系统的最优控制，按照这样的思路，作者基于庞特里亚金极大值原理（Pontryagin's maximum principle, PMP）设计了一个迭代算法，来求得这个控制问题的最优解，从而实现对于神经网络参数的优化。
神经网络—>动力学系统
其实将神经网络看作动力学系统的想法并不新鲜，尤其是当残差网络（residual network, ResNet）提出以后，这一观点变得更加流行。简单来说，ResNet可以看作是动力学系统的离散时间近似，具体描述可以接着看下文。
对于监督学习来说，其目的就是通过神经网络来去逼近一个从X映射到Y的函数
，其中X就是输入的样本数据，而Y就是对应的目标值。假设样本特征有d维，一共K个样本，则有样本集
，其中
。
现在通过动力学的观点来看神经网络，我们认为输入X就是运动物体的初始状态，比如粒子的位置。在我们的动力学系统中，这些粒子遵循下面的规律运动：
其中t代表时间，
代表该系统在t时刻的参数，而
代表位置X对时间的导数，即速度。
这就是一个给定初始状态的常微分方程，求解该方程，我们就可以得出粒子的最终状态
现在将时间离散化，为了得出最终状态
，可以通过前向欧拉法求解：
通过上式可以看出，残差网络中的第n层就可以看作是其中的函数
，每一层的输出
都是该层输入
加上函数
的计算结果
乘一个常数
。因此我们可以将ResNet看作一个动力学系统。
方便起见，我们还是先讨论时间连续的情况，对于最终状态
，可以计算它的loss
，其中函数
是固定的，因此优化问题就可以写成如下形式：
其中
是参数空间，
在控制问题中叫做running cost，放在机器学习中可以理解为是一个正则化项。
而这篇论文的核心内容就是对这个优化问题进行求解。
为了简便起见，之后的讨论认为样本数K=1，而这并不会影响最终的结论。
Pontryagin's maximum principle
论文中采用了庞特里亚金极大值原理(Pontryagin's maximum principle, PMP)的思想来求解优化问题，具体方法如下：
首先定义哈密顿量H
那么PMP就告诉我们，下列条件：
(1)
(2)
最低0.47元/天 解锁文章
699
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
