#机器学习--高等数学基础--第五章：多元函数微分法

引言

        本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的读者快速学习或查阅。

---

1、多元函数的概念

        定义1：设 $D$ 是 $R^2$ 的一个非空子集，称映射 $f:D\to R$ 为定义在 $D$ 上的二元函数，通常记为 $z=f(x,y),(x,y)\in D$ 或 $z=f(P),P\in D$ ，其中点集 $D$ 称为该函数的定义域， $x$ 和 $y$ 称为自变量， $z$ 称为因变量。

        定义2：一般地，把定义1中的平面点集 $D$ 换成 $n$ 维空间 $R^n$ 内的点集 $D$ ，映射 $f:D\to R$ 就称为定义在 $D$ 上的 $n$ 元函数，通常记为：$$u=f(x_1,x_2,\dots ,x_n),(x_1,x_2,\dots ,x_n)\in D$$

---

2、多元函数的极限

        定义：设二元函数 $f(P)=f(x,y)$ 的定义域为 $D$ ， $P_0(x_0,y_0)$ 是 $D$ 的聚点，如果存在常数 $A$ ，对于任意给定的正数 $ϵ$ ，总存在正数 $\delta$ ，使得当点 $P(x,y)\in D\cap \stackrel{o}{U}(P_0,\delta )$ 时，都有 $|f(P)-A|=|f(x,y)-A|<ϵ$ 成立，那么就称常数 $A$ 为函数 $f(x,y)$ 当 $(x,y)\to (x_0,y_0)$ 时的极限，记作$$\underset{(x,y)\to (x_0,y_0)}{\lim }f(x,y)=A$$

---

3、偏导数

        定义：设函数 $z=f(x,y)$ 在点 $(x_0,y_0)$ 的某一邻域内有定义，当 $y$ 固定在 $y_0$ 而 $x$ 在 $x_0$ 处有增量 $\Delta x$ 时，相应的函数有增量 $f(x_0+\Delta x,y_0)-f(x_0,y_0)$ ，如果 ${\lim }_{\Delta x\to 0}\frac{f(x_0+\Delta x,y_0)-f(x_0,y_0)}{\Delta x}$ 存在，那么称此极限为函数 $z=f(x,y)$ 在点 $(x_0,y_0)$ 处对 $x$ 的偏导数，记作$${\frac{\partial z}{\partial x}|}_{\begin{array}{c}x=x_0\\ y=y_0\end{array}}或f_x(x_0,y_0)$$        类似地，函数 $z=f(x,y)$ 在点 $(x_0,y_0)$ 处对 $y$ 的偏导数定义为 ${\lim }_{\Delta y\to 0}\frac{f(x_0,y_0+\Delta y)-f(x_0,y_0)}{\Delta y}$ ，记作 $${\frac{\partial z}{\partial y}|}_{\begin{array}{c}x=x_0\\ y=y_0\end{array}}或f_y(x_0,y_0)$$

---

4、全微分

        定义：设函数 $z=f(x,y)$ 在点 $(x,y)$ 的某邻域内有定义，如果函数在点 $(x,y)$ 的全增量 $\Delta z=f(x+\Delta x,y+\Delta y)-f(x,y)$ 可表示为 $\Delta z=A\Delta x+B\Delta y+o(\rho )$ ，其中 $A$ 和 $B$ 不依赖于 $\Delta x$ 和 $\Delta y$ 而仅与 $x$ 和 $y$ 有关， $\rho =\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}$ ，那么称函数 $z=f(x,y)$ 在点 $(x,y)$ 可微分，而 $A\Delta x+B\Delta y$ 称为函数 $z=f(x,y)$ 在点 $(x,y)$ 的全微分，记作 $dz$ ，即 $dz=A\Delta x+B\Delta y$ 。

        定理：
        1）如果函数 $z=f(x,y)$ 在点 $(x,y)$ 可微分，那么该函数在点 $(x,y)$ 的偏导数 $\frac{\partial z}{\partial x}$ 与 $\frac{\partial z}{\partial y}$ 必定存在，且函数 $z=f(x,y)$ 在点 $(x,y)$ 的全微分为$$dz=\frac{\partial z}{\partial x}dx+\frac{\partial z}{\partial y}dy$$

---

5、多元复合函数的求导法则

        1）如果函数 $u=\phi (t)$ 及 $v=\psi (t)$ 都在点 $t$ 可导，函数 $z=f(u,v)$ 在对应点 $(u,v)$ 具有连续偏导数，那么复合函数 $z=f[\phi (t),\psi (t)]$ 在点 $t$ 可导，且有$$\frac{dz}{dt}=\frac{\partial z}{\partial u}\frac{du}{dt}+\frac{\partial z}{\partial v}\frac{dv}{dt}$$
        2）如果函数 $u=\phi (x,y)$ 及 $v=\psi (x,y)$ 都在点 $(x,y)$ 具有对 $x$ 及对 $y$ 的偏导数，函数 $z=f(u,v)$ 在对应点 $(u,v)$ 具有连续偏导数，那么复合函数 $z=f[\phi (x,y),\psi (x,y)]$ 在点 $(x,y)$ 的两个偏导数都存在，且有$$\frac{\partial z}{\partial x}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial x}+\frac{\partial z}{\partial v}\frac{\partial v}{\partial x}$$$$\frac{\partial z}{\partial y}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial y}+\frac{\partial z}{\partial v}\frac{\partial v}{\partial y}$$
        3）如果函数 $u=\phi (x,y)$ 在点 $(x,y)$ 具有对 $x$ 及对 $y$ 的偏导数，函数 $v=\psi (y)$ 在点 $y$ 可导，函数 $z=f(u,v)$ 在对应点 $(u,v)$ 具有连续偏导数，那么复合函数 $z=f[\phi (x,y),\psi (y)]$ 在点 $(x,y)$ 的两个偏导数都存在，且有$$\frac{\partial z}{\partial x}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial x}$$$$\frac{\partial z}{\partial y}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial y}+\frac{\partial z}{\partial v}\frac{dv}{dy}$$

---

6、方向导数与梯度

        定义1：设函数 $z=f(x,y)$ 在点 $P_0(x_0,y_0)$ 的某个邻域 $U(P_0)$ 内有定义， $P(x_0+t\cos \alpha ,y_0+t\cos \beta )$ 为 $l$ 上另一点，且 $P\in U(P_0)$ ，如果函数增量 $f(x_0+t\cos \alpha ,y_0+t\cos \beta )-f(x_0,y_0)$ 与 $P$ 到 $P_0$ 的距离 $|P{P}_0|=t$ 的比值 $\frac{f(x_0+t\cos \alpha ,y_0+t\cos \beta )-f(x_0,y_0)}{t}$ 当 $P$ 沿着 $l$ 趋于 $P_0$ （即 $t\to 0^{+}$ ）时的极限存在，那么称此极限为函数 $f(x,y)$ 在点 $P_0$ 沿方向 $l$ 的方向导数，记作 ${\frac{\partial f}{\partial l}|}_{x_0,y_0}$ ，即$${\frac{\partial f}{\partial l}|}_{x_0,y_0}=\underset{t\to 0^{+}}{\lim }\frac{f(x_0+t\cos \alpha ,y_0+t\cos \beta )-f(x_0,y_0)}{t}$$

        定义2：设函数 $f(x,y)$ 在平面区域 $D$ 内具有一阶连续偏导数，则对于每一点 $P_0(x_0,y_0)\in D$ ，都可定出一个向量 $f_x(x_0,y_0)i+f_y(x_0,y_0)j$ ，其中 $i=(1,0),j=(0,1)$ ，这向量称为函数 $f(x,y)$ 在点 $P_0(x_0,y_0)$ 的梯度，记作 $gradf(x_0,y_0)$ 或 $\nabla f(x_0,y_0)$ ，即$$gradf(x_0,y_0)=\nabla f(x_0,y_0)=f_x(x_0,y_0)i+f_y(x_0,y_0)j，其中i=(1,0),j=(0,1)$$        其中 $\nabla =\frac{\partial }{\partial x}i+\frac{\partial }{\partial y}j$ 称为向量微分算子或Nabla算子， $\nabla f=\frac{\partial f}{\partial x}i+\frac{\partial f}{\partial y}j$ 。

        定理：
        1）如果函数 $f(x,y)$ 在点 $P_0(x_0,y_0)$ 可微分，那么函数在该点沿任一方向 $l$ 的方向导数存在，且有$${\frac{\partial f}{\partial l}|}_{x_0,y_0}=f_x(x_0,y_0)\cos \alpha +f_y(x_0,y_0)\cos \beta$$        其中 $\cos \alpha$ 和 $\cos \beta$ 是方向 $l$ 的方向余弦。

---

7、多元函数的极值

        1）设函数 $z=f(x,y)$ 在点 $(x_0,y_0)$ 具有偏导数，且在点 $(x_0,y_0)$ 处有极值，则有 $f_x(x_0,y_0)=0,f_y(x_0,y_0)=0$ 。
        2）设函数 $z=f(x,y)$ 在点 $(x_0,y_0)$ 的某邻域内连续且有一阶及二阶连续偏导数，又 $f_x(x_0,y_0)=0,f_y(x_0,y_0)=0$ ，令 $f_{xx}(x_0,y_0)=A,f_{xy}(x_0,y_0)=B,f_{yy}(x_0,y_0)=C$ ，则 $f(x,y)$ 在 $(x_0,y_0)$ 处是否取得极值的条件如下：
                （1） $AC-B^2>0$ 时具有极值，且当 $A<0$ 时有极大值，当 $A>$ 时有极小值；
                （2） $AC-B^2<0$ 时没有极值；
                （3） $AC-B^2=0$ 时可能有极值，也可能没有极值，需另作讨论。
        3）拉格朗日乘数法。