一般梯度、随机梯度、相对梯度和自然梯度

一般梯度

也称常规梯度，就是 $f(\vec{w})$ 对 $\vec{w}$ 的偏导，即 $\frac{\partial f(\vec{w})}{\partial \vec{w}}$，因为在欧式坐标系中，负梯度方向是下降最快的方向，即所谓的最速下降法。

随机梯度

和常规梯度很像，不同的是随机梯度会在 $\nabla f(\vec{w})$ 中随机挑选一个或多个方向进行下降。

相对梯度

增量 $\Delta \vec{w}=D\vec{w}$，选择适当的 $D$，使得 $f(\vec{w}+D\vec{w})$ 最小。Cardoso 等人将 $\frac{\partial f(\vec{w})}{\partial \vec{w}}{w}^T$ 定义为 $f(\vec{w})$ 的相对梯度。

自然梯度

在保持 $||\Delta \vec{w}|{|}^2$ 不变的前提下，寻找一个最佳的方向，使得 $f(\vec{w}+\Delta \vec{w})$ 最小。Amari 利用黎曼几何的有关理论，证明该最佳方向不是 “负” 常规梯度方向，而是 “负” 黎曼梯度。并将 $\frac{\partial f(\vec{w})}{\partial \vec{w}}{w}^{T}w$ 定义为 $f(\vec{w})$ 的自然梯度。