为什么 梯度下降法 能够逼近最优解

为什么梯度下降能够逼近最优解？

假设我们的object function为： argmin_w f(w)，为了求得最优解，可以这样变形：
min = f(w+step_w) - f(w)达到最小，利用泰勒展开公式有：
f(w + step_w) = f(w) + f’(w) * step_w
f(w + step_w) - f(w) = f’(w) * step_w
为了得到min，我们只要使w的更新不长step_w = -f’(w)即可
这样就得到了梯度下降法的公式：
w = w - alpha * f’(w)；