机器学习基础 1：梯度以及链式法则

一元函数与多元函数

   按照函数中包含的自变量个数，我们可以将函数分为：

一元函数：
  只有一个自变量的函数 $y=f(x)$，若 $x$ 是实数，则函数是一条线
二元函数：
  有两个自变量的函数 $z=f(x,y)$，若 $x$ 与 $y$ 是实数，则函数是一个面
……

导数与偏导数

   导数的本质是一个微小区间内的变化量
   对于一元函数来说，导数就是函数在某个点处的变化率 $f^{\prime }(x)=\frac{dy}{dx}$，图形上可以表示为函数线上某点的切线的斜率，函数在某个点 $x_0$的导数可以表示为：

$$\begin{gathered} f^{\prime }(x_0)=\underset{\Delta x\to 0}{\lim }\frac{\Delta y}{\Delta x} \\ =\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x} \\ =\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\frac{1}{2}\Delta x)-f(x_0-\frac{1}{2}\Delta x)}{\Delta x} \end{gathered}$$

   对于二元函数来说，存在两个坐标轴，需要引入偏导数的概念：

对于二元函数 $z=f(x,y)$，存在两个方向上的偏导数
$f_x^{\prime }(x,y)=\frac{\partial z}{\partial x}$，是指函数在 $y$ 轴方向不变，函数值 $z$ 沿着 $x$ 轴方向的变化率
$f_y^{\prime }(x,y)=\frac{\partial z}{\partial y}$，是指函数在 $x$ 轴方向不变，函数值 $z$ 沿着 $y$ 轴方向的变化率

   从图形上来说，在某个点 $p(x_0,y_0)$ 上的两个偏导数可以表示为（假设函数为一个曲面）：

• $f_x^{\prime }(x_0,y_0)$ 是函数 $f(x,y)$ 的曲面被平面 $y=y_0$ 所截得的曲线 $f_{y_0}(x)$ 在点 $p$ 处沿着 $x$ 轴方向的切线的斜率 $$f_x^{\prime }(x_0,y_0)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x,y_0)-f(x_0,y_0)}{\Delta x}$$

• $f_y^{\prime }(x_0,y_0)$ 是函数 $f(x,y)$ 的曲面被平面 $x=x_0$ 所截得的曲线 $f_{x_0}(y)$ 在点 $p$ 处沿着 $y$ 轴方向的切线的斜率 $$f_y^{\prime }(x_0,y_0)=\underset{\Delta y\to 0}{\lim }$$