DL_Notebook 8_梯度下降

批量梯度下降 BGD

一维梯度下降

沿负梯度方向移动可以减小函数值，证明过程自行搜索。主要利用泰勒展开：
$$f(x+ϵ)=f(x)+ϵf^{\prime }(x)+\mathcal{O}({ϵ}^2)$$
假设坐标$x$移动量为$\eta f^{\prime }(x)$，则沿着负梯度方向就是$x-\eta f^{\prime }(x)$，代入泰特展开式：
$$f(x-\eta f^{\prime }(x))=f(x)-\eta f^{\prime 2}(x)+\mathcal{O}({\eta }^2{f}^{\prime 2}(x))$$
取合适的学习率$\eta$（较小的时候），满足$\eta f^{\prime 2}(x)>\mathcal{O}({\eta }^2{f}^{\prime 2}(x))$，则：
$$\begin{gathered} f(x-\eta f^{\prime }(x))\lesssim f(x) \\ x\leftarrow x-\eta f^{\prime }(x) \end{gathered}$$
如果$\eta$过大，是可能$\eta f^{\prime 2}(x)<\mathcal{O}({\eta }^2{f}^{\prime 2}(x))$的，即$f(x-\eta f^{\prime }(x))=f(x)+$正数，变成梯度上升。

下面用学习率$\eta$分别为0.2、0.05、1.1的例子来看这个问题，初始点都为x=10：

在最后一个图中从x=10开始，由于学习率过大，函数值越来越大，最后呈发散的情况。

多维梯度下降

$$\nabla f(\mathbf{x})=[x_{}$$