【深度学习】常见优化算法

本文介绍常见的一阶数值优化算法，这些方法在现代神经网络框架(tensorflow, caffe, torch)中已经是标准配置。

问题

设系统参数为$\omega$。对于样本$i$，其代价函数为$Q_i(\omega )$。在n个样本组成的训练集上，其整体代价函数为：
$$Q(\omega )=\sum _{i=1}^n{Q}_i(\omega )$$

要求$\omega$使得上式最小，由于没有闭式解，需要通过近似迭代逐步逼近。

基础一阶优化

GD

GD(Gradient Descent)以$\eta$为学习率，在每次迭代中用一阶泰勒展开近似：
$${\omega }_{t+1}={\omega }_t-\eta \nabla Q(\omega )$$

将求和与梯度互换。GD方法的增量来源于对所有样本同时求梯度之和：
$${\omega }_{t+1}={\omega }_t-\eta \sum _{i=1}^n\nabla Q_i(\omega )$$

设$\omega$的维度为D，代价函数$Q$是个标量，减号后的梯度也是一个D维向量。

SGD

SGD(Stochastic Gradient Descent)在每次迭代中，顺次使用每个样本的梯度，更新参数：

for i=1 to n
$${\omega }_{t+1}={\omega }_t-\eta \nabla Q_i(\omega )$$

一种折衷的方法是，把m个样本组成一个mini-batch，使用mini-batch的总梯度更新参数：

for i=1 to n/m
$${\omega }_{t+1}={\omega }_t-\eta \sum _{j=1}^m\nabla Q_{ij}(\omega )$$

其中$Q_{ij}(\omega )$为第i个minibatch中第j个样本的代价。

为书写简便，以下说明中不再出现样本序号i。$\nabla Q(\omega )$可以指一个样本、一个mini-batch或者全部样本的梯度只和。

更快的一阶优化

这些方法都以GD为基础，但收敛速度更快，换句话说${ϵ}_t$