梯度下降法

梯度下降法

1.原理

• 方向导数
  如果函数$z=f(x,y)$在点$P(x,y)$处可微，则函数在该点任一方向$L$的方向导数都存在，且有$$\frac{\partial f}{\partial l}=\frac{\partial f}{\partial x}\cos \alpha +\frac{\partial f}{\partial y}\cos \beta$$$$\alpha 、\beta :为方向L的方向角$$方向导数表征了函数沿任意方向的变化的速度
• 梯度
  设函数$z=f(x,y)$在平面区域$D$内具有一阶连续偏导数，则对于每一个点$P(x,y)\in D$，向量$$\left(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right)$$为函数$z=f(x,y)$在点$P$处的梯度，记为grad$f(x,y)$
  某点的梯度是某点方向导数的最大值，因此梯度代表的方向是函数增长最快的方向，而沿负梯度方向为函数下降最快的方向。

2.梯度下降法

• 初始化 θ \theta