梯度下降算法中的Adagrad和Adadelta

梯度下降算法

目录

Adagrad

与梯度下降不同的是，更新规则中，对于学习率不在设置固定的值，每次迭代过程中，每个参数优化时使用不同的学习率。
假设 某次迭代时刻t，$g_{t,i} = \nabla_\theta J(\theta_i)$是目标函数对参数的梯度，普通的随机梯度下降算法，对于所有的$\theta_i$都使用相同的学习率，因此迭代到第t次时，某一个参数向量$\theta_i$的变化过程如下：

$$\theta_{t+1,i} = \theta_{t,i} - \eta·g_{t,i}$$
而在Adagrad的更新规则中，学习率 $\textbf{$\eta$}$ 会随着每次迭代而根据历史梯度的变化而变化。

θt+1,i=θt,i−ηGt+ϵ−−−−−√