梯度下降法求极小值

本文旨在将自己学习“梯度下降法”过程中的问题进行整理。

1. 背景
   对于给定多元函数f(x1,x2,x3,…,xn)，求其在某点P(x,y)处的极值。

2. 什么是梯度？
   （1）方向导数的定义
   设二元函数 z = f(x,y) 在点P(x,y)的某一个领域U(P)内有定义，自点P引射线l，设x轴正向到射线l的转角为��，设P’(x+∆x,y+∆y)为l上的另一点，且P’∈U(P),

   ∣∣PP′∣∣=ρ=(Δx)2+(Δy)2‾‾‾‾‾‾‾‾‾‾‾‾‾