m0_74081612的博客

原创 如何理解梯度上升和梯度下降

假如q()是减函数，梯度g就小于0，梯度θ更新是减小的，q()是减函数，依然是往增加的方向走。假如q()是关于θ的增函数，g就大于0，梯度θ更新就是增加的，q()往函数增加的方向走；反之，将梯度公式加号变减号同样的道理，就是梯度下降。所以梯度都是往q()函数上升的方向，就是梯度上升。如图所示表示的梯度上升。