Optimization Algorithm

Optimization Algorithm

Some Source From: deeplearning.ai

GD、SGD和Mini-Batch Gradient Descent

三者关系，

$$SGD\in MiniBatch\ Gradient\ Descent\in GD$$
GD是针对所有样本计算梯度，SGD是随机抽取一个样本计算梯度，Mini-Batch Gradient Descent则是折中地抽取部分样本计算梯度。同时由于SGD是最小化单个样本的损失函数，并不是朝着全局最优方向，因此波动较大，Batch-GD虽然精度高，但是在样本量过大的情况下，计算量会过大。

Mini-Batch Gradient Descent

1. 从训练集抽取$m$个大小的Batch样本$\{x^{(1)},...,x^{(m)}\}$
2. 梯度估计
   $$\hat g\leftarrow{1\over m}\nabla_\theta\sum_iL(f(x^{(i)}),y^{(i)})$$
3. 更新
   $$\theta\leftarrow \theta-\epsilon\hat g$$
   在Mini-Batch Gradient Descent中由于随机采样引入的噪源1，其梯度估计并不会在极小值处小时，而使用全部样本时梯度下降到极小值时，整个代价函数的真实梯度也会变得很小甚至为0，因此Batch-GD下降可以使用固定的学习速率。实践中，一般会线性衰减学习速率到第$\tau$次迭代：
   $$\epsilon_k=(1-\alpha)\epsilon_0+\alpha\epsilon_\tau\\ 其中\alpha={k\over \tau}$$
   其中参数选择为$\epsilon_0, \epsilon_\tau, \tau$，通常$\tau$被设为反复遍历训练样本所需的迭代次数，$\epsilon_\tau$设为$1\%$的$\epsilon_0$。主要问题是如何设置$\epsilon_0$，若$\epsilon_0$太大，学习曲线将会剧烈振荡，代价函数会明显增加，如果学习速率太慢，那么学习进程会缓慢。如果初始学习速率太低，那么学习可能会卡在一个相当高的损失值。通常，就总训练时间和最终损失值而言，最优初始学习速率会高于大约迭代100步后输出最好效果的学习速率。因此，通常最好是检测最早的几轮迭代，使用一个高于此时效果最佳学习速率的学习速率，但又不能太高以致严重的不稳定性。在文献2 3中对随机梯度下降有更详细的分析.

mini-batch size

• Small data set( size < 2000 ) : use batch gradient descent
• Typical mini-batch size : 64, 128, 256, … ( $2^n$ better )
• Make sure mini-batch size fits in CPU/GPU memory
• Search for the much better number about the hyper parameter

Some algorithms faster than gradient descent

Exponentially weighted averages

Original data : ${\theta_t}$

$$V_{t}=\alpha V_{t+1}+(1-\alpha)\theta_{t}$$
Means
$$V_{t}\approx{1\over{1-\alpha}}\sum_{i=t-{1\over{1-\alpha}}}^t\theta_i$$
Much better Computarion and memory efficiency, but the effect of the ordinary average is better.

Bias Correction

To correct the preceding value on the warmed up,

$$V_t={{V_t}\over{1-\alpha^t}}$$

Gradient descent with momentum

On iteration t :
Compute $dw,db$ on batch(minibatch)

$$V_{dw}=\alpha V_{dw}+(1-\alpha)dw \\ w=w-\alpha V_{dw}$$
Decrease the wave, speed up toward the optimal( could use larger learning rate )

RMSprop

RMSprop(root mean square )

On iteration t :
Compute $dw,db$ on batch(mini-batch)

$$S_{dw}=\alpha S_{dw}+(1-\alpha)(dw)^2 \\ w=w-\alpha {S_{dw}\over \sqrt {S_{dw}}}$$
the effect same as momentum
Avoid dividing by 0

Adam

Adam means adaptive moment estimation

Combine momentum and RMSprop together

On iteration t :
Compute $dw,db$ on batch(mini-batch)

$$V_{dw}=\alpha_1 V_{dw}+(1-\alpha_1)dw \\ S_{dw}=\alpha_2 S_{dw}+(1-\alpha_2)(dw)^2 \\ V_{dw}={{V_{dw}}\over{1-\alpha_1^t}}\\ S_{dw}={{S_{dw}}\over{1-\alpha_2^t}}\\ w=w-\beta {V_{dw}\over \sqrt {S_{dw}+\epsilon}}$$

Hyperparameters choice

$$\beta : needs\ to\ be\ tune\\ \alpha_1 : 0.9\\ \alpha_2 : 0.999\\ \epsilon : 10^{-8}$$

---

1. Deep learning book ↩
2. Almost sure convergence of a stochastic approximation
   process in a convex set ↩
3. ROBUST STOCHASTIC APPROXIMATION APPROACH TO
   STOCHASTIC PROGRAMMING ↩