梯度下降与随机梯度下降深入理解

1基础知识：
偏导数与方向导数：
对于多元函数，如果说偏导数表示的是多元函数在沿坐标轴的变化率，那么可以说方向导数是沿着任意指定的方向的变化率，不一定是沿着坐标轴。

方向导数：
讨论下函数$z=f(x,y)$在一点$P$沿着某一方向的变化率问题。

定义：设函数$z=f(x,y)在点P(x,y)的某一邻域U(p)内有定义，自点P引射线l.设x轴正向到射线l的转角为\phi ，并设P^{{}^{\prime }}(x+△x,y+△y)为l上的另一点且P^{{}^{\prime }}\in U(p)，现在考虑函数的增量f(x+△x,y+△y)-f(x,y)与P{P}^{{}^{\prime }}两点间的距离\rho =\sqrt{(△x{)}^2+(△y{)}^2}的比值，当P^{{}^{\prime }}沿着l趋于P时，如果这个比的极限存在，那么这个极限为函数法f(x,y)在点p沿着方向l的方向导数$
（在某个点上，在某个方向上）

方向导数的定理如下：

方向导数是一个数值，梯度是一个向量

梯度：
梯度是一个与方向导数有关联的一个概念

定义：函数$z=f(x,y)$在平面区域D内具有一阶连续偏导数，则对于每一点$(x,y)\in D$，都可以定义出一个向量

这个向量称为函数$z=f(x,y)在点P(x,y)的梯度，记作gradf(x,$