浅谈拉格朗日乘子法的数学推导

注 数学系列为本人的学习笔记，水平有限，如有错误希望读者不吝指正。

拉格朗日乘子法（Lagrange Multiplier Method）是求解最优化问题的一个方法，在推导该方法之前，先来看几个基本概念。

梯度（gradient）

函数的梯度是由该函数的偏导数组成的向量，一元函数的梯度就是导数，函数的切线就是梯度的方向，二元函数的梯度是两个偏导数组成的向量，例如二元函数 $z=f(x,y)$ 可微，在点 $P_o$ 处存在偏导数 $f_x^{\prime },f_y^{\prime }$，则称向量 $(f_x^{\prime },f_y^{\prime })$ 为函数 $z$ 的梯度，记为 $\nabla z$ 。梯度的几何意义是函数变化率最大的方向。一元函数导数即为函数的变化率，沿切线的方向就是变化率最大的方向。二元函数中，由两个偏导数组成的向量的方向，即为梯度方向。因为二元函数的全微分形式为
$$dz=f_x^{\prime }(x,y)dx+f_y^{\prime }(x,y)dy$$则二元函数梯度为
$$\nabla z=(f_x^{\prime }(x,y),f_y^{\prime }(x,y))$$ 观察 $dz$ 的形式，我们发现 $dz$ 可记为 $\nabla z$ 与 $(dx,dy)$ 的内积，即
$$\nabla z\cdot (dx,dy)=(f_x^{\prime }(x,y),f_y^{\prime }(x,y))\cdot (dx,dy)=f_x^{\prime }(x,y)dx+f_y^{\prime }(x,y)dy$$ 微分就是近似计算
$$\Delta z=f_x^{\prime }(x,y)dx+f_y^{\prime }(x,y)dy=\nabla z\cdot (\Delta x,\Delta y)$$
我们知道两个向量内积的几何意义是两向量模长相乘再乘以这两个向量的夹角的余弦，即设 $\mathbf{a}、\mathbf{b}$ 为两向量，其夹角为 $\theta$，则
$$\mathbf{a}\cdot \mathbf{b}=||\mathbf{a}||\cdot ||\mathbf{b}||\cdot \cos \theta$$ 我们记向量 $\nabla z$ 和向量 $(\Delta x,\Delta y)$ 之间的夹角 $\angle$ 为 $\alpha$，则
$$\Delta z=\nabla z\cdot (\Delta x,\Delta y)=||\nabla z||\cdot ||(\Delta x,\Delta y)||\cdot \cos \alpha$$ 当固定 $\nabla z$、$\Delta x$ 和 $\Delta y$ 后，$\angle \alpha =0$ 时，$\Delta z$ 最大，因此函数 $z$ 变化率最大的方向与 $(\Delta x,\Delta y)$ 也就是其梯度的方向是一致的。当函数更多元时，可以证明梯度仍然是函数变化率最大的方向。

黑塞矩阵（Hessian Matrix）

是一个多元函数的二阶偏导数构成的矩阵，描述了该函数的局部曲率。黑塞矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出，并以其名字命名。该矩阵在判定多元函数极值方面有非常重要的应用。
在工程实际问题的优化设计中，目标函数往往非常复杂，为了使问题简化，往往将目标函数在某点邻域内展开成泰勒多项式来逼近原函数。

二元函数黑塞矩阵

我们知道，若一元函数 $f(x)$ 在包含 $x=x^{(0)}$ 点的某个闭区间 $[a,b]$ 内有 $n$ 阶导数，并且在开区间 $(a,b)$ 上有 $n+1$ 阶导数，则对闭区间 $[a,b]$ 上任意一点 $x$，则 $f(x)$ 在 $x^{(0)}$ 处有泰勒展开式
$$f(x)=\frac{f(x^{(0)})}{0!}+\frac{f^{\prime }(x^{(0)})}{1!}(x-x^{(0)})+\frac{f^{\prime \prime }(x^{(0)})}{2!}(x-x^{(0)})+\cdots +\frac{f^{(n)}(x^{(0)})}{n!}(x-x^{(0)}{)}^n+R_n(x)$$ 其中，$f^{(n)}(x)$ 为 $f(x)$ 的 $n$ 阶导数，$R_n(x)$ 是泰勒展开式的余项，是 $(x-x^{(0)}{)}^{n+1}$ 的高阶无穷小。
类似一元函数，若二元函数 $f(x_1,x_2)$ 在点 $(x_1^{(0)},x_2^{(0)})$ 的某个邻域内有 $n+1$ 阶连续偏导数，令 $(x_1^{(1)},x_2^{(1)})$ 为该邻域内任意一点，令 $$\Delta x_1=x_1^{(1)}-x_1^{(0)},\Delta x_2=x_2^{(1)}-x_2^{(0)}$$ 令 $${\frac{\partial f}{\partial x_1}|}_{X^{(0)}}为{\frac{\partial f(x_1,x_2)}{\partial x_1}|}_{(x_1^{(0)},x_2^{(0)})}的简写形式$$
则 $f(x_1,x_2)$ 在点 $(x_1^{(1)},x_2^{(1)})$ 处有泰勒展开式
$$\begin{array}{rl}f(x_1,x_2)& =f(x_1^{(0)},x_2^{(0)})\\ & +\frac{1}{1!}{\frac{\partial f}{\partial x_1}|}_{X^{(0)}}\cdot \Delta x_1+\frac{1}{1!}{\frac{\partial f}{\partial x_2}|}_{X^{(0)}}\cdot \Delta x_2\\ & +\frac{1}{2!}\left[{\frac{{\partial }^{2}f}{\partial x_1^2}|}_{X^{(0)}}\cdot \Delta x_1^2+2{\frac{{\partial }^{2}f}{\partial x_1\partial x_2}|}_{X^{(0)}}\cdot \Delta x_1\Delta x_2+{\frac{{\partial }^{2}f}{\partial x_2^2}|}_{X^{(0)}}\cdot \Delta x_2^2\right]\\ & +\cdots \\ & +\frac{1}{n!}\left[\sum _{p=0}^n\left(\genfrac{}{}{0ex}{}{n}{p}\right)\Delta x_1^p\Delta x_2^{n-p}\cdot {\frac{{\partial }^{n}f}{\partial x_1^p\partial x_2^{n-p}}|}_{X^{(0)}}\right]\\ & +R_n(x)\end{array}$$ 其中，$R_n(x)$ 是泰勒展开式的余项，是 $(\Delta x_1+\Delta x_2{)}^{n+1}$ 的高阶无穷小。
我们将上述二元函数泰勒展开式写成矩阵相乘的形式，令 $X=(x_1,x_2)$，则泰勒展开式的前几项可以写为
$$\begin{array}{rl}f(X)& =f(X^{(0)})\\ & +\frac{1}{1!}({\frac{\partial f}{\partial x_1}|}_{X^{(0)}},{\frac{\partial f}{\partial x_2}|}_{X^{(0)}})\left(\begin{array}{c}\Delta x_1\\ \Delta x_2\end{array}\right)\\ & +\frac{1}{2!}(\Delta x_1,\Delta x_2)\left(\begin{array}{cc}{\frac{{\partial }^{2}f}{\partial x_1^2}|}_{X^{(0)}}& {\frac{{\partial }^{2}f}{\partial x_1\partial x_2}|}_{X^{(0)}}\\ {\frac{{\partial }^{2}f}{\partial x_1\partial x_2}|}_{X^{(0)}}& {\frac{{\partial }^{2}f}{\partial x_2^2}|}_{X^{(0)}}\end{array}\right)\left(\begin{array}{c}\Delta x_1\\ \Delta x_2\end{array}\right)\\ & +\cdots \end{array}$$ 方阵
$$\left(\begin{array}{cc}{\frac{{\partial }^{2}f}{\partial x_1^2}|}_{X^{(0)}}& {\frac{{\partial }^{2}f}{\partial x_1\partial x_2}|}_{X^{(0)}}\\ {\frac{{\partial }^{2}f}{\partial x_1\partial x_2}|}_{X^{(0)}}& {\frac{{\partial }^{2}f}{\partial x_2^2}|}_{X^{(0)}}\end{array}\right)$$
是函数 $f(x_1,x_2)$ 在 $(x_1^{(0)},x_2^{(0)})$ 处的二阶偏导数矩阵，也即该函数的黑塞矩阵。

多元函数的黑塞矩阵

前述二元函数泰勒展开式的矩阵形式中，我们令
$$\begin{array}{rl}\Delta X& =\left(\begin{array}{c}\Delta x_1\\ \Delta x_2\end{array}\right)\\ \nabla f(X^{(0)})& =\left(\begin{array}{c}{\frac{\partial f}{\partial x_1}|}_{X^{(0)}}\\ {\frac{\partial f}{\partial x_2}|}_{X^{(0)}}\end{array}\right)\\ {\nabla }^{2}f(X^{(0)})& =\left(\begin{array}{cc}{\frac{{\partial }^{2}f}{\partial x_1^2}|}_{X^{(0)}}& {\frac{{\partial }^{2}f}{\partial x_1\partial x_2}|}_{X^{(0)}}\\ {\frac{{\partial }^{2}f}{\partial x_1\partial x_2}|}_{X^{(0)}}& {\frac{{\partial }^{2}f}{\partial x_2^2}|}_{X^{(0)}}\end{array}\right)\end{array}$$ 则泰勒展开式前几项可以写为
$$f(X)=f(X^{(0)})+\frac{1}{1!}(\nabla f(X^{(0)}){)}^T\Delta X+\frac{1}{2!}\Delta X^T({\nabla }^{2}f(X^{(0)}))\Delta X+\cdots$$ 现在将其推广到多元函数中，令
$$\begin{array}{rl}\Delta X& =\left(\begin{array}{c}\Delta x_1\\ \Delta x_2\\ ⋮\\ \Delta x_n\end{array}\right)\\ \nabla f(X^{(0)})& =\left(\begin{array}{c}{\frac{\partial f}{\partial x_1}|}_{X^{(0)}}\\ {\frac{\partial f}{\partial x_2}|}_{X^{(0)}}\\ ⋮\\ {\frac{\partial f}{\partial x_n}|}_{X^{(0)}}\end{array}\right)\\ {\nabla }^{2}f(X^{(0)})& =\left(\begin{array}{cccc}{\frac{{\partial }^{2}f}{\partial x_1^2}|}_{X^{(0)}}& {\frac{{\partial }^{2}f}{\partial x_1\partial x_2}|}_{X^{(0)}}& \cdots & {\frac{{\partial }^{2}f}{\partial x_1\partial x_n}|}_{X^{(0)}}\\ {\frac{{\partial }^{2}f}{\partial x_2\partial x_1}|}_{X^{(0)}}& {\frac{{\partial }^{2}f}{{\partial }^2{x}_2}|}_{X^{(0)}}& \cdots & {\frac{{\partial }^{2}f}{\partial x_2\partial x_n}|}_{X^{(0)}}\\ ⋮& ⋮& \ddots & ⋮\\ {\frac{{\partial }^{2}f}{\partial x_n\partial x_1}|}_{X^{(0)}}& {\frac{{\partial }^{2}f}{\partial x_n\partial x_2}|}_{X^{(0)}}& \cdots & {\frac{{\partial }^{2}f}{{\partial }^2{x}_n}|}_{X^{(0)}}\end{array}\right)\end{array}$$
则多元函数 $f(x_1,x_2,\dots ,x_n)$ 在点 $X^{(0)}=(x_1^{(0)},x_2^{(0)},\dots ,x_n^{(0)})$ 处的泰勒展开式也可以表示为
$$f(X)=f(X^{(0)})+\frac{1}{1!}(\nabla f(X^{(0)}){)}^T\Delta X+\frac{1}{2!}\Delta X^T({\nabla }^{2}f(X^{(0)}))\Delta X+\cdots$$ 我们发现，$\nabla f(X^{(0)})$ 恰好是该多元函数在点 $X^{(0)}$ 处的梯度，而方阵 ${\nabla }^{2}f(X^{(0)})$ 即是该多元函数在点 $X^{(0)}$ 处的黑塞矩阵。

思考 为什么黑塞矩阵要用二阶偏导数矩阵？梯度方向的几何意义是函数的变化率最大的方向，梯度的分量则是该函数在各个变量方向上的变化率。二阶偏导数矩阵的几何意义是函数变化率的变化率，也就是梯度的梯度，类似力学中速率的速率，也就是加速度的概念。

黑塞矩阵的应用

利用黑塞矩阵，我们可以判定多元函数的极值。

一元函数极值判断

首先还是来看一元函数的情形，费马（Fermat）定理表明，如果函数 $f(x)$ 的一个极值点为 $x^{(0)}$，并且该函数在点 $x^{(0)}$ 处可导，那么该函数在点 $x^{(0)}$ 处的导数为 $0$，即 $f^{\prime }(x^{(0)})=0$ 。由此我们知道 $x^{(0)}$ 为极值点的必要条件是函数 $f(x)$ 在该点的一阶导数为 $0$ 。但 $f^{\prime }(x^{(0)})=0$ 并不是 $x^{(0)}$ 为极值点的充分条件，当 $f^{\prime }(x^{(0)})=0$ 时，为确定 $x^{(0)}$ 是否为极值点，当函数在 $x^{(0)}$ 处存在二阶导数时，我们还需要考察 $f(x)$ 的二阶导数，并且有以下判断标准
$$\begin{array}{r}当f^{\prime }(x^{(0)})\ne 0时，x^{(0)}不是极值点\\ 当f^{\prime }(x^{(0)})=0且f^{\prime \prime }(x)<0时，x^{(0)}为极大值点\\ 当f^{\prime }(x^{(0)})=0且f^{\prime \prime }(x)>0时，x^{(0)}为极小值点\\ 当f^{\prime }(x^{(0)})=0且f^{\prime \prime }(x)=0时，x^{(0)}为鞍点\end{array}$$

多元函数极值判断

类似一元函数，如果多元函数 $f(x_1,x_2,\dots ,x_n)$ 二阶连续可导，并在点 $X^{(0)}=(x_1^{(0)},x_2^{(0)},\dots ,x_n^{(0)})$ 处梯度 $\nabla f(X^{(0)})=0$，我们计算该点处的二阶偏导数矩阵，即黑塞矩阵 ${\nabla }^{2}f(X^{(0)})$，并有如下判断标准
$$\begin{array}{r}当\nabla f(x^{(0)})\ne 0时，X^{(0)}不是极值点\\ 当\nabla f(x^{(0)})=0且{\nabla }^{2}f(X^{(0)})为正定矩阵时，X^{(0)}为极小值点\\ 当\nabla f(x^{(0)})=0且{\nabla }^{2}f(X^{(0)})为负定矩阵时，X^{(0)}为极大值点\\ 当\nabla f(x^{(0)})=0且{\nabla }^{2}f(X^{(0)})为不定矩阵时，X^{(0)}不是极值点\end{array}$$
那么如何判断黑塞矩阵 ${\nabla }^{2}f(X^{(0)})$ 是正定还是负定呢？这就需要计算 ${\nabla }^{2}f(X^{(0)})$ 的特征值。 ${\nabla }^{2}f(X^{(0)})$ 为正定矩阵的充要条件是其所有特征值均大于 $0$，${\nabla }^{2}f(X^{(0)})$ 为负定矩阵的充要条件是其所有特征值均小于 $0$ 。

当 $||\Delta X||$ 非常小时，我们可以利多元函数在点 $X^{(0)}=(x_1^{(0)},x_2^{(0)},\dots ,x_n^{(0)})$ 处的泰勒展开式的第一、二项来近似函数，即
$$f(X)\approx f(X^{(0)})+(\nabla f(X^{(0)}){)}^T\Delta X$$ 当寻找函数极小值时，需要
$$f(X)-f(X^{(0)})\approx (\nabla f(X^{(0)}){)}^T\Delta X<0$$ 这说明，在寻找极小值时，函数自变量移动的方向，也即向量 $\Delta X$ 的方向与梯度 $\nabla f(X^{(0)})$ 的夹角大于 $90^{\circ }$ 。

拉格朗日乘子法（Lagrange Multiplier Method）

拉格朗日乘子法是求解最优化问题的一个方法。 需要求解的最优化问题为：
给定定义在数域 $\Omega \subset R^n$ 上的函数 $f,g_1,g_2,\dots ,g_m$ 和 $h_1,h_2,\dots ,h_l$，求如下问题的最优解：
$$\underset{x\in \Omega }{\min }f(x)subjectto{g}_i(x)\le 0,\forall iand{h}_j(x)=0,\forall j$$

可以看出，我们需要在多元函数 $f$ 的变量受另外一个或多个函数限制的情况下寻找该函数的极值。

拉格朗日乘子法将一个有 $N$ 个变量和 $K$ 个约束的求解极值问题转换为一个有 $N+K$ 个变量的方程组的极值问题，该方程组没有任何变量约束。

定理 1 令 $U\subset {\mathbb{R}}^n$ 为一开集，并令 $f:U\to \mathbb{R}$，$g:U\to \mathbb{R}$ 为一阶可导函数，令 ${\mathbf{x}}_o\in U$，$c=g({\mathbf{x}}_0)$，令 $S$ 为 $g$ 在 $c$ 处的水平集（即等高线），假定 $\nabla g({\mathbf{x}}_0)\ne 0$，如果函数 $f{|}_S$ 在 $x_0$ 处有局部极值，则有 $\lambda \in \mathbb{R}$ 满足
$$\nabla f({\mathbf{x}}_0)=\lambda g({\mathbf{x}}_0)$$

定义 1 令 $U\subset {\mathbb{R}}^n$ 为一开集，并令 $g:U\to \mathbb{R}$ 为一阶可导函数，令 ${\mathbf{x}}_0\in U$，$c=g({\mathbf{x}}_0)$，并且 $S$ 为 $g$ 在 $c$ 处的水平集（$levelset$，即等高线），如果 $\nabla g({\mathbf{x}}_0)\ne 0$，则我们定义 $S$ 在 ${\mathbf{x}}_0$ 处的切空间（tangent space）为所有满足 $\nabla g({\mathbf{x}}_0)(\mathbf{x}-{\mathbf{x}}_0)=0$ 的向量 $\mathbf{x}\in {\mathbb{R}}^n$ 的集合。
理论上，水平集 $S$ 的切空间是所有与梯度 $\nabla g({\mathbf{x}}_0)$ 正交的向量，但如果我们希望该空间真的与 $S$ “相切”，我们需要平移这些向量，使其从点 ${\mathbf{x}}_0$ 处起始，也就是要给这些向量加上 ${\mathbf{x}}_0$。

引理 1 令 $\mathbf{u},\mathbf{v}\in {\mathbb{R}}^n$ 且 $\mathbf{u}\ne 0$，令 $T$ 表示所有满足 $\mathbf{x}\in {\mathbb{R}}^n$ 且 $\mathbf{x}\cdot \mathbf{u}=0$ 的向量 $\mathbf{x}$ 的集合，如果对于所有的 $\mathbf{x}\in T$ 都有 $\mathbf{x}\cdot \mathbf{v}=0$，则 $\mathbf{v}=\lambda \mathbf{u}$，$\lambda$ 为一标量。
证明 因为 $\mathbf{u}\ne 0$，我们可以将 $\mathbf{v}$ 分解为 ${\mathbf{v}}_1$ 和 ${\mathbf{v}}_2$
$$\mathbf{v}={\mathbf{v}}_1+{\mathbf{v}}_2$$ 并要求 ${\mathbf{v}}_1=\alpha \mathbf{u}$ 且 ${\mathbf{v}}_2\cdot \mathbf{u}=0$，即 ${\mathbf{v}}_1$ 为 $\mathbf{v}$ 在 $\mathbf{u}$ 上的投影，则 $\alpha =\mathbf{v}\cdot \mathbf{u}/||\mathbf{u}|{|}^2$ 。这是因为
$$\begin{array}{rlr}\because & \mathbf{v}\cdot \mathbf{u}=||\mathbf{v}||||\mathbf{u}||\cos \theta & \\ \therefore & ||{\mathbf{v}}_1||=||\mathbf{v}||\cos \theta =\frac{\mathbf{v}\cdot \mathbf{u}}{||\mathbf{u}||}& \\ \because & \alpha =\frac{||{\mathbf{v}}_1||}{||\mathbf{u}||}& \\ \therefore & \alpha =\frac{\mathbf{v}\cdot \mathbf{u}}{||\mathbf{u}|{|}^2}& \end{array}$$
接下来，根据我们对 $\mathbf{v}$ 的假设（对于所有的 $\mathbf{x}\in T$ 都有 $\mathbf{x}\cdot \mathbf{v}=0$），则

$$\begin{array}{rl}0& ={\mathbf{v}}_2\cdot \mathbf{v}\\ & ={\mathbf{v}}_2\cdot ({\mathbf{v}}_1+{\mathbf{v}}_2)\\ & ={\mathbf{v}}_2\cdot {\mathbf{v}}_1+||{\mathbf{v}}_2|{|}^2\\ & =\alpha {\mathbf{v}}_2\cdot \mathbf{u}+||{\mathbf{v}}_2|{|}^2\\ & =0+||{\mathbf{v}}_2|{|}^2\end{array}$$ 因此 ${\mathbf{v}}_2=0$，$\mathbf{v}={\mathbf{v}}_1=\alpha \mathbf{u}$ 得证。

定理 1 证明
令 $T$ 为 $S$ 在 ${\mathbf{x}}_0$ 处的切空间，我们需要证明对于任一 $\mathbf{x}\in T$，都有 $\nabla f({\mathbf{x}}_0)\cdot (\mathbf{x}-{\mathbf{x}}_0)=0$，因为 $\nabla g({\mathbf{x}}_0)\ne 0$，从引理 1 可得知 $\nabla f({\mathbf{x}}_0)=\lambda \nabla g({\mathbf{x}}_0)$，$\lambda$ 为一标量。 现在假设有向量 $\mathbf{v}$，使得 $\nabla g({\mathbf{x}}_0)\cdot \mathbf{v}=0$，并有 一阶可导函数 $c:[-a,a]\to {\mathbb{R}}^n$，使得
$$\begin{array}{rl}(1)& c(t)\in S\forall t\in [-a,a]\\ (2)& c(0)={\mathbf{x}}_0\\ (3)& c^{\prime }(0)=\mathbf{v}\end{array}$$ 也就是说，我们沿着 $S$ 定义一个一阶可导的函数（原文为 path，应该也是某种函数），该函数（路径）通过 $S$ 所有的点并且在 ${\mathbf{x}}_0$ 处导数为 $\mathbf{v}$ （可以想象成一个点在沿着 $S$ 运动，通过 ${\mathbf{x}}_0$ 处时的速率为 $\mathbf{v}$）
现在我们令 $\mathbf{x}\in T$，因为 $\mathbf{x}-{\mathbf{x}}_0$ 与 $\nabla g({\mathbf{x}}_0)$ 正交，所以我们可以选择上述的函数（路径）$c$ ，令 $h(t)=f(c(t))$，因为$f$ 和 $c$ 都是一阶可导的，根据微分的链式法则，$h$ 也可微，又因 $c(t)\in S,\forall t$ 且 $f{|}_S$ 在 ${\mathbf{x}}_0$ 处有最大或最小值，函数 $h(t)$ 在 $t=0$ 处有最大或最小值，这样的话
$$\begin{array}{rl}0& ={\frac{d}{dt}h(t)|}_{t=0}\\ & =\nabla f(c(0))\cdot c^{\prime }(0)\\ & =\nabla f({\mathbf{x}}_0)\cdot (\mathbf{x}-{\mathbf{x}}_0)\end{array}$$

定理 2 隐函数定理
先来看一个定理 隐函数定理，设 $E$ 是 ${\mathbb{R}}^n$ 的开子集合（$n>1$），而 $f:E\to \mathbb{R}$ 是连续可微函数，并且设 $\mathbf{y}=(y_1,y_2,\dots ,y_n)$ 是 $E$ 中的一个点，使 $f(\mathbf{y})=0,{\frac{\partial f}{\partial x_n}|}_{\mathbf{y}}\ne 0$，那么存在 ${\mathbb{R}}^{n-1}$ 的开子集合 $U$，它含有点 $(y_1,y_2,\dots ,y_{n-1})$，而且存在 $E$ 的一个含有 $\mathbf{y}$ 的开子集 $V$，及函数 $g:U\to \mathbb{R}$，使得 $g(y_1,y_2,\dots ,y_{n-1})=y_n$，并且
{ ( x 1 , x 2 , … , x n ) ∈ V : f ( x 1 , x 2 , … x n ) = 0 } = { ( x 1 , x 2 , … , x n − 1 , g ( x 1 , x 2 , … , x n − 1 ) : ( x 1 , x 2 , … , x n − 1 ∈ U ) } \{(x_1, x_2, \ldots, x_n) \in V:f(x_1, x_2, \ldots x_n) = 0\} \\ = \{(x_1, x_2, \ldots, x_{n - 1}, g(x_1, x_2, \ldots, x_{n - 1}) :(x_1, x_2, \ldots, x_{n-1} \in U)\} {(x1​,x2​,…,xn​)∈V:f(x1​,x2​,…xn​)=0}={(x1​,x2​,…,xn−1​,g(x1​,x2​,…,xn−1​):(x1​,x2​,…,xn−1​∈U)} 也就是说，集合 { x ∈ V : f ( x ) = 0 } \{x \in V: f(x) = 0 \} {x∈V:f(x)=0} 是 $U$ 上的函数 $g$ 的图像，还有，$g$ 在 $(y_1,y_2,\dots ,y_{n-1})$ 处可微，并且
$${\frac{\partial g}{\partial x_j}|}_{(y_1,y_2,\dots ,y_{n-1})}=-{\frac{\partial f}{\partial x_j}|}_{\mathbf{y}}/{\frac{\partial f}{\partial x_n}|}_{\mathbf{y}},1\le j\le n-1$$

隐函数定理的另一种表述 令 $F:{\mathbb{R}}^{n+1}\to \mathbb{R}$ 为一阶可导函数，令 $(\mathbf{x},z)$ 表示 ${\mathbb{R}}^{n+1}$ 中的点，其中 $\mathbf{x}\in {\mathbb{R}}^n$，$z\in \mathbb{R}$，假设有 $({\mathbf{x}}_0,z_0)\in {\mathbb{R}}^{n+1}$ 满足
$$F({\mathbf{x}}_0,z_0)=0and\frac{\partial F}{\partial z}({\mathbf{x}}_0,z_0)\ne 0$$ 则有球体 $U\subset {\mathbb{R}}^n$ 包含点 ${\mathbf{x}}_0$、开区间 $V\subset \mathbb{R}$ 包含 $z_0$ 和单值函数 $g:U\to \mathbb{R}$，当且仅当 $z=g(\mathbf{x})$ 时有 $F(\mathbf{x},z)=0,\mathbf{x}\in U,z\in V$ 。此外，还有 $g$ 有一阶偏微分
$$\frac{\partial g}{\partial x_i}=-\frac{\partial F/\partial x_i}{\partial F/\partial z}$$ 其中 $i=1,2,\dots n$ 。
$F(\mathbf{x},z)=0$ 隐含着 $z$ 是 $\mathbf{x}$ 的函数的意思，隐函数定理 则告诉我们在符合什么样条件的时候，$F$ 可以表示为 $z=g(\mathbf{x})$，并且我们可以知道，当 $F$ 一阶可导时 $g$ 也一阶可导。

引理 2 令 $U\subset {\mathbb{R}}^n$ 为一开集，并令 $g:U\to \mathbb{R}$ 为一阶可导函数，令 ${\mathbf{x}}_0\in U,c=g({\mathbf{x}}_0)$ 且 $S$ 为 $g$ 在取值为 $c$ 时的水平集。若 $\nabla g({\mathbf{x}}_0)\ne 0$，当给定一向量 $\mathbf{v}$ 满足 $\nabla g({\mathbf{x}}_0)\cdot \mathbf{v}=0$ 时，存在一阶可导函数 $\mathbf{c}:[-a,a]\to {\mathbb{R}}^n$ 使得
$$\begin{array}{rl}(1.)& \mathbf{c}(t)\in S\forall t\in [-a,a]\\ (2.)& \mathbf{c}(0)={\mathbf{x}}_0\\ (3.)& {\mathbf{c}}^{\prime }(0)=\mathbf{v}\end{array}$$
证明 因为 $\nabla g({\mathbf{x}}_0)\ne 0$，从而有 $x_i$ 使得 $\partial g/\partial x_i\ne 0$，为方便起见，我们设 $\partial g/\partial x_n({\mathbf{x}}_0)\ne 0$，将 ${\mathbf{x}}_0$ 记为 ${\mathbf{x}}_0=(y_1,y_2,\dots ,y_n)$，根据隐函数定理（令 $F=gandz=x_n$），有球体 $U\subset {\mathbb{R}}^{n-1}$ 包含点 $(y_1,y_2,\dots ,y_{n-1})$，有开集 $V\subset \mathbb{R}$ 包含 $y_n$，并有定义在 $U$ 上的一阶可导函数 $h(y_1,y_2,\dots ,y_{n-1})$ 满足
$$g(x_1,x_2,\dots ,x_{n-1},x_n)=c当且仅当x_n=h(x_1,x_2,\dots ,x_{n-1})\text{\hspace{1em}(1)}$$ 这就是说，在水平集 $S$ 上的点 ${\mathbf{x}}_0$ 附近，我们可以利用 $x_1,x_2,\dots ,x_{n-1}$ 来表示 $x_n$。这说明 $S$ 可以看作某些函数在局部的图。
令 $\mathbf{v}=(v_1,v_2,\dots ,v_n)$ 与 $\nabla g({\mathbf{x}}_0)$ 正交，并令
$${\mathbf{c}}_1(t)=(y_1+t{v}_1,y_2+t{v}_2,\dots ,y_{n-1}+t{v}_{n-1})$$ 及
$$\mathbf{c}(t)=({\mathbf{c}}_1(t),h({\mathbf{c}}_1(t)))$$ 对于非常小的 $t$，${\mathbf{c}}_1(t)$ 会落在 $U$ 内，根据等式 $(1)$，我们有
$$g(\mathbf{c}(t))=g(({\mathbf{c}}_1(t),h({\mathbf{c}}_1(t)))=c$$ 这表明当 $t$ 很小时，$\mathbf{c}(t)$ 整个落在水平集 $S$ 上，这证明了引理 2 的第 $(1.)$ 部分。
对于第 $(2.)$ 部分，我们有
$$\begin{array}{rl}\mathbf{c}(0)& =({\mathbf{c}}_1(0),h({\mathbf{c}}_1(0)))\\ & =(y_1+0v_1,y_2+0v_2,\dots ,y_{n-1}+0v_{n-1},h(y_1+0v_1,y_2+0v_2,\dots ,y_{n-1}+0v_{n-1}))\\ & =(y_1,y_2,\dots ,y_{n-1},h(y_1,y_2,\dots ,y_{n-1}))\end{array}$$ 因为 $\mathbf{c}(t)\in S\forall t\in [-a,a]$，所以 $g(\mathbf{c}(0))=c$，又根据等式 $(1)$，当 $c=g(x_1,x_2,\dots ,x_{n-1},x_n)$ 时，当且仅当 $x_n=h(x_1,x_2,\dots ,x_{n-1})$，因此 $y_n=h(y_1,y_2,\dots ,y_{n-1})$，所以第 $(2.)$ 部分 $\mathbf{c}(0)={\mathbf{x}}_0$ 得证。
根据微分链式法制，我们有
$$\begin{array}{rl}{\frac{d}{dt}h({\mathbf{c}}_1(t))|}_{t=0}& =\nabla h({\mathbf{c}}_1(0)){{\mathbf{c}}_1}^{\prime }(0)\\ & =\nabla h(y_1,y_2,\dots ,y_{n-1})\cdot (v_1,v_2,\dots ,v_{n-1})\\ & =\frac{\partial h}{\partial x_1}{v}_1+\frac{\partial h}{\partial x_2}{v}_2+\cdots +\frac{\partial h}{\partial x_{n-1}}{v}_{n-1}\end{array}$$ 根据 隐函数定理 ，
$$\frac{\partial h}{\partial x_i}=-\frac{\partial g/\partial x_i}{\partial g/\partial x_n}$$ 所以
$$\frac{\partial h}{\partial x_1}{v}_1+\frac{\partial h}{\partial x_2}{v}_2+\cdots +\frac{\partial h}{\partial x_{n-1}}{v}_{n-1}=-\frac{1}{\partial g/\partial x_n}(\frac{\partial g}{\partial x_1}{v}_1+\frac{\partial g}{\partial x_2}{v}_2+\cdots +\frac{\partial g}{\partial x_{n-1}}{v}_{n-1})$$ 而因为 $\mathbf{v}$ 正交于 $\nabla g({\mathbf{x}}_0)$，所以$$\frac{\partial g}{\partial x_1}{v}_1+\frac{\partial g}{\partial x_2}{v}_2+\cdots +\frac{\partial g}{\partial x_{n-1}}{v}_{n-1}=\nabla g({\mathbf{x}}_0)\cdot \mathbf{v}-\frac{\partial g}{\partial x_n}{v}_n=-\frac{\partial g}{\partial x_n}{v}_n$$ 所以 $${\frac{d}{dt}h({\mathbf{c}}_1(t))|}_{t=0}=-\frac{1}{\partial g/\partial x_n}(-\frac{\partial g}{\partial x_n}{v}_n)=v_n$$ 所以 $${\mathbf{c}}^{\prime }(t)=({\mathbf{c}}_1^{\prime }(t),h^{\prime }({\mathbf{c}}_1(t)))=(v_1,v_2,\dots ,v_{n-1},v_n)=\mathbf{v}$$ 于是第 $(3.)$ 部分得证。

拉格朗日函数
定义拉格朗日函数为$$\mathfrak{L}(\mathbf{x},\lambda )=f(\mathbf{x})+\lambda (g(\mathbf{x})-c)$$ 将上式分别对 $\mathbf{x}$ 和 $\lambda$ 求导置零，就分别得到 $\nabla f({\mathbf{x}}_0)=\lambda g({\mathbf{x}}_0)$ 式和等式约束 $g(\mathbf{x})=c$，这样就将原约束优化问题转化为对 $\mathfrak{L}(\mathbf{x},\lambda )$ 的无约束优化问题。

参考资料

https://zhuanlan.zhihu.com/p/29525538
https://baike.baidu.com/item/拉格朗日乘数法
https://www.zhihu.com/question/38586401
https://www.maixj.net/misc/tidu-17934
https://baike.baidu.com/item/黑塞矩阵
https://baike.baidu.com/item/泰勒公式
https://math.dartmouth.edu/archive/m14f04/public_html/math_14_lagrange.pdf
https://www.cnblogs.com/massquantity/p/10807311.html