点云配准之点到点，点到面，点到线ICP，NDT算法介绍

点云配准（Point Cloud Registration）即求一个位姿变换$\mathbf{x}=[\mathbf{R},\mathbf{t}]$，将源点云 Q = { q 1 , ⋯   , q m } Q=\{\mathbf{q}_{1},\cdots,\mathbf{q}_{m}\} Q={q1​,⋯,qm​}变换到与目标点云 P = { p 1 , ⋯   , p n } P=\{\mathbf{p}_{1},\cdots,\mathbf{p}_{n}\} P={p1​,⋯,pn​}的相同的坐标系下，也即使变换后的源点云与目标点云间相似的部分重合

1、ICP

ICP（Iterative Closest Point，迭代最近点）算法将点云配准问题问题分为数据关联和位姿估计两个步骤，并迭代执行这两个步骤，直至算法收敛。无论数据关联和位姿估计具体是怎样进行，只要算法中包含了这两步交替的过程，就可以认为其为ICP算法。

数据关联即将源点云中的每个点关联到目标点云中的某统计量。常见ICP方法的数据关联方式有点到点的关联，点到面的关联，点到线的关联，这些方法的主要区别在于所关联的目标点云中的统计量不同。

位姿估计即根据固定的数据关联估计位姿变换。对于固定的数据关联$({\mathbf{q}}_i,{\mathrm{S}}_i),i=1,\cdots ,m$，其中$M_i$为目标点云中的某统计量，ICP算法进行位姿估计的方式通常为
$$\begin{array}{rl}[\mathbf{R},\mathbf{t}{]}^{\ast }& =\underset{\mathbf{R},\mathbf{t}}{\mathrm{argmin}}\sum _{i=1}^m{\mathbf{e}}_i^T{\mathbf{e}}_i\end{array}\text{\hspace{1em}(1)}$$
上式中省略了$\mathbf{R}\in SO(3)$，$\mathbf{t}\in {\mathbb{R}}^3$的条件，下同，${\mathbf{e}}_i$的形式由关联方式决定。点和统计量的关联关系是在迭代过程中不断调整的，故该问题被反复求解。上式主要通过解析的方式闭式求解或通过构建增量方程求解，很多情况下要对求解过程进行改进，如引入核函数等，在这些改进下，闭式解可能并不存在，而增量方程经调整后仍可写出，这种情况下，通常采用增量方程的方式求解。

1.1、点到点ICP

• 数据关联

首先，对点云$Q$中的每个点${\mathbf{q}}_i$，查找其经位姿变换得到的点$\mathbf{R}{\mathbf{q}}_i+\mathbf{t}$在点云$P$中的单点最近邻${\mathbf{p}}_i$。记全部关联的点对为$({\mathbf{q}}_i,{\mathbf{p}}_i),i=1,\cdots ,m$

• 计算误差向量

点到点的关联误差为
$${\mathbf{e}}_i={\mathbf{p}}_i-\mathbf{R}{\mathbf{q}}_i-\mathbf{t}\text{\hspace{1em}(2)}$$
此时$\Vert {\mathbf{e}}_i\Vert$表示点$\mathbf{R}{\mathbf{q}}_i+\mathbf{t}$和${\mathbf{p}}_i$两点间的距离

1.1.1、解析解法

在该关联误差下，优化问题$(1)$可写为
$$\begin{array}{rl}[\mathbf{R},\mathbf{t}{]}^{\ast }& =\underset{\mathbf{R},\mathbf{t}}{\mathrm{argmin}}\sum _{i=1}^m\Vert {\mathbf{p}}_i-\mathbf{R}{\mathbf{q}}_i-\mathbf{t}{\Vert }^2\end{array}\text{\hspace{1em}(3)}$$
计算两组点云的质心
$$\overline{\mathbf{p}}=\frac{1}{n}\sum _{i=1}^m{\mathbf{p}}_i,\overline{\mathbf{q}}=\frac{1}{n}\sum _{i=1}^m{\mathbf{q}}_i$$
目标函数可做如下处理
$$\begin{array}{rl}\sum _{i=1}^m\Vert {\mathbf{p}}_i-\mathbf{R}{\mathbf{q}}_i-\mathbf{t}{\Vert }^2& =\sum _{i=1}^m\Vert {\mathbf{p}}_i-\mathbf{R}{\mathbf{q}}_i-\mathbf{t}-(\overline{\mathbf{p}}-\mathbf{R}\overline{\mathbf{q}})+(\overline{\mathbf{p}}-\mathbf{R}\overline{\mathbf{q}}){\Vert }^2\\ & =\sum _{i=1}^m\Vert ({\mathbf{p}}_i-\overline{\mathbf{p}}-\mathbf{R}({\mathbf{q}}_i-\overline{\mathbf{q}}))+(\overline{\mathbf{p}}-\mathbf{R}\overline{\mathbf{q}}-\mathbf{t}){\Vert }^2\\ & =\sum _{i=1}^m\left[\Vert {\mathbf{p}}_i-\overline{\mathbf{p}}-\mathbf{R}({\mathbf{q}}_i-\overline{\mathbf{q}}){\Vert }^2+\Vert \overline{\mathbf{p}}-\mathbf{R}\overline{\mathbf{q}}-\mathbf{t}{\Vert }^2+2({\mathbf{p}}_i-\overline{\mathbf{p}}-\mathbf{R}({\mathbf{q}}_i-\overline{\mathbf{q}}){)}^T(\overline{\mathbf{p}}-\mathbf{R}\overline{\mathbf{q}}-\mathbf{t})\right]\\ & =\sum _{i=1}^m\left[\Vert {\mathbf{p}}_i-\overline{\mathbf{p}}-\mathbf{R}({\mathbf{q}}_i-\overline{\mathbf{q}}){\Vert }^2+\Vert \overline{\mathbf{p}}-\mathbf{R}\overline{\mathbf{q}}-\mathbf{t}{\Vert }^2\right]\end{array}\text{\hspace{1em}(4)}$$
上式从第三行推导至第四行是根据最后一项求和为零

由$(4)$的形式知道，求和号中第一项仅和$\mathbf{R}$相关，可据此对$\mathbf{R}$进行优化，在得到旋转矩阵的最优估计${\mathbf{R}}^{\ast }$后，令第二项等于零，即可得到位移的最优估计${\mathbf{t}}^{\ast }$。下面先对第一项进行优化，即使得目标函数在任意固定的$\mathbf{t}$值下对$\mathbf{R}$最小
$$\begin{array}{rl}{\mathbf{R}}^{\ast }& =\underset{\mathbf{R}}{\mathrm{argmin}}\sum _{i=1}^m\Vert {\mathbf{p}}_i-\overline{\mathbf{p}}-\mathbf{R}({\mathbf{q}}_i-\overline{\mathbf{q}}){\Vert }^2\end{array}\text{\hspace{1em}(5)}$$
引入去质心坐标
$${\mathbf{p}}_i^{\prime }={\mathbf{p}}_i-\overline{\mathbf{p}},{\mathbf{q}}_i^{\prime }={\mathbf{q}}_i-\overline{\mathbf{q}}$$
可将$(5)$写为
$$\begin{array}{rl}{\mathbf{R}}^{\ast }& =\underset{\mathbf{R}}{\mathrm{argmin}}\sum _{i=1}^m\Vert {\mathbf{p}}_i^{\prime }-\mathbf{R}{\mathbf{q}}_i^{\prime }{\Vert }^2\\ & =\underset{\mathbf{R}}{\mathrm{argmin}}\sum _{i=1}^m\left({{\mathbf{p}}_i^{\prime }}^T{\mathbf{p}}_i^{\prime }+{{\mathbf{q}}_i^{\prime }}^T{\mathbf{R}}^T\mathbf{R}{\mathbf{q}}_i^{\prime }-2{{\mathbf{p}}_i^{\prime }}^T\mathbf{R}{\mathbf{q}}_i^{\prime }\right)\\ & =\underset{\mathbf{R}}{\mathrm{argmax}}\sum _{i=1}^m{{\mathbf{p}}_i^{\prime }}^T\mathbf{R}{\mathbf{q}}_i^{\prime }\\ & =\underset{\mathbf{R}}{\mathrm{argmax}}\sum _{i=1}^m\mathrm{tr}\left(\mathbf{R}{\mathbf{q}}_i^{\prime }{{\mathbf{p}}_i^{\prime }}^T\right)\\ & =\underset{\mathbf{R}}{\mathrm{argmax}}\mathrm{tr}\left(\mathbf{R}\sum _{i=1}^m{\mathbf{q}}_i^{\prime }{{\mathbf{p}}_i^{\prime }}^T\right)\\ & =\underset{\mathbf{R}}{\mathrm{argmin}}-\mathrm{tr}\left(\mathbf{R}{\mathbf{W}}^T\right)\end{array}\text{\hspace{1em}(6)}$$
其中
$$\mathbf{W}=\sum _{i=1}^m{\mathbf{p}}_i^{\prime }{{\mathbf{q}}_i^{\prime }}^T\text{\hspace{1em}(7)}$$
考虑到$\mathbf{R}\in SO(3)$，可以构造如下优化问题
$$\begin{array}{rl}\min & -\mathrm{tr}\left(\mathbf{R}{\mathbf{W}}^T\right)\\ \mathrm{subject}\mathrm{to}& {\mathbf{R}}^T\mathbf{R}=\mathbf{I}\det (\mathbf{R})=1\end{array}\text{\hspace{1em}(8)}$$
首先对$\mathbf{W}$进行SVD分解
$$\mathbf{W}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T\text{\hspace{1em}(9)}$$
根据§1中KKT条件，可以证明，在任何情况下，使$(6)$中目标函数最优的旋转矩阵${\mathbf{R}}^{\ast }$总可以取为下述值
$$\begin{array}{r}{\mathbf{R}}^{\ast }=\mathbf{U}\left[\begin{array}{ccc}1& & \\ & 1& \\ & & \det (\mathbf{U})\det (\mathbf{V})\end{array}\right]{\mathbf{V}}^T\end{array}\text{\hspace{1em}(10)}$$
为使第二项等于零，位移的最优估计${\mathbf{t}}^{\ast }$应取值为
$${\mathbf{t}}^{\ast }=\overline{\mathbf{p}}-{\mathbf{R}}^{\ast }\overline{\mathbf{q}}\text{\hspace{1em}(11)}$$

1.1.2、增量方程解法

• 计算雅可比矩阵

$(2)$中${\mathbf{e}}_i$对旋转矩阵的右扰动雅可比和对平移的雅可比为：
$$\begin{array}{r}\frac{\partial {\mathbf{e}}_i}{\partial \mathbf{R}}=\mathbf{R}{\mathbf{q}}_i^{\wedge }\frac{\partial {\mathbf{e}}_i}{\partial \mathbf{t}}=-\mathbf{I}\end{array}\text{\hspace{1em}(13)}$$
应用ICP算法求源点云 Q = { q 1 , ⋯   , q m } Q=\{\mathbf{q}_{1},\cdots,\mathbf{q}_{m}\} Q={q1​,⋯,qm​}到目标点云 P = { p 1 , ⋯   , p n } P=\{\mathbf{p}_{1},\cdots,\mathbf{p}_{n}\} P={p1​,⋯,pn​}的位姿变换$\mathbf{x}=[\mathbf{R},\mathbf{t}]$的步骤如下：

---

1. 令$k=0$，给定初始的位姿估计为${\mathbf{x}}_0=[{\mathbf{R}}_0,{\mathbf{t}}_0]$

2. 在当前位姿估计${\mathbf{x}}_k=[{\mathbf{R}}_k,{\mathbf{t}}_k]$下，将点云$Q$中每个点${\mathbf{q}}_i$关联到点云$P$中的某统计量

3. 对每个关联，计算误差向量${\mathbf{e}}_i$和误差向量对状态量的雅可比矩阵${\mathbf{J}}_i={\left[\frac{\partial {\mathbf{e}}_i}{\partial \mathbf{R}},\frac{\partial {\mathbf{e}}_i}{\partial \mathbf{t}}\right]|}_{{\mathbf{R}}_k,{\mathbf{t}}_k}$

4. 根据${\mathbf{J}}_i,{\mathbf{e}}_i,i=1,\cdots ,m$求出海森矩阵${\mathbf{H}}_k$，梯度${\mathbf{b}}_k$
   $$\begin{array}{rl}{\mathbf{H}}_k=\sum _{i=1}^m{\mathbf{J}}_i^T{\mathbf{J}}_i{\mathbf{b}}_k& =\sum _{i=1}^m{\mathbf{J}}_i^T{\mathbf{e}}_i\end{array}$$

5. 求解增量方程
   $${\mathbf{H}}_k\Delta {\mathbf{x}}_k=-{\mathbf{b}}_k$$

6. 若$\Delta {\mathbf{x}}_k$足够小，则认为算法已收敛，退出；否则令${\mathbf{x}}_{k+1}={\mathbf{x}}_k\oplus \Delta {\mathbf{x}}_k$，$k=k+1$，返回2

---

上述步骤中，不同ICP算法的区别仅在于数据关联和计算关联误差和雅可比两个步骤，下面讨论不同ICP算法解决这两个问题具体方式

1.2、点到面ICP

• 数据关联

对点云$Q$中的每个点${\mathbf{q}}_i$，查找其经位姿变换得到的点$\mathbf{R}{\mathbf{q}}_i+\mathbf{t}$在点云$P$中的$k$点最近邻 { p i 1 , ⋯   , p i k } \{\mathbf{p}_{i_{1}},\cdots,\mathbf{p}_{i_{k}}\} {pi1​​,⋯,pik​​}，通过$k$点最近邻，进行局部平面拟合，得平面${\Pi }_i:{\mathbf{n}}_i^T\mathbf{p}+d_i=0,\Vert {\tilde{\mathbf{n}}}_i\Vert =1$。记全部关联的点—平面对为$({\mathbf{q}}_i,{\Pi }_i),i=1,\cdots ,m$

• 计算误差向量和雅可比矩阵

点到面的关联误差为
$${\mathbf{e}}_i={\mathbf{n}}_i^T(\mathbf{R}{\mathbf{q}}_i+\mathbf{t})+d_i\text{\hspace{1em}(14)}$$
此时$\Vert {\mathbf{e}}_i\Vert$表示点$\mathbf{R}{\mathbf{q}}_i+\mathbf{t}$到平面${\Pi }_i$的距离

${\mathbf{e}}_i$对旋转矩阵的右扰动雅可比和对平移的雅可比为：
$$\begin{array}{r}\frac{\partial {\mathbf{e}}_i}{\partial \mathbf{R}}=-{\mathbf{n}}_i^T\mathbf{R}{\mathbf{q}}_i^{\wedge }\frac{\partial {\mathbf{e}}_i}{\partial \mathbf{t}}={\mathbf{n}}_i^T\end{array}\text{\hspace{1em}(15)}$$

1.3、点到线ICP

• 数据关联

对点云$Q$中的每个点${\mathbf{q}}_i$，查找其经位姿变换得到的点$\mathbf{R}{\mathbf{q}}_i+\mathbf{t}$在点云$P$中的$k$点最近邻 { p i 1 , ⋯   , p i k } \{\mathbf{p}_{i_{1}},\cdots,\mathbf{p}_{i_{k}}\} {pi1​​,⋯,pik​​}，通过这$k$点最近邻，进行局部直线拟合，得到直线$L_i:\mathbf{p}={\mathbf{d}}_{i}t+{\mathbf{p}}_i,\Vert {\mathbf{d}}_i\Vert =1$。记全部关联的点—直线对为$({\mathbf{q}}_i,L_i),i=1,\cdots ,m$

• 计算误差向量和雅可比矩阵：

点到直线的关联误差为
$${\mathbf{e}}_i={\mathbf{d}}_i\times (\mathbf{R}{\mathbf{q}}_i+\mathbf{t}-{\mathbf{p}}_i)={\mathbf{d}}_i^{\wedge }(\mathbf{R}{\mathbf{q}}_i+\mathbf{t}-{\mathbf{p}}_i)\text{\hspace{1em}(16)}$$
此时$\Vert {\mathbf{e}}_i\Vert$表示点$\mathbf{R}{\mathbf{q}}_i+\mathbf{t}$到直线$L_i$的距离

${\mathbf{e}}_i$对旋转矩阵的右扰动雅可比和对平移的雅可比为：
$$\begin{array}{r}\frac{\partial {\mathbf{e}}_i}{\partial \mathbf{R}}=-{\mathbf{d}}_i^{\wedge }\mathbf{R}{\mathbf{q}}_i^{\wedge }\frac{\partial {\mathbf{e}}_i}{\partial \mathbf{t}}={\mathbf{d}}_i^{\wedge }\end{array}\text{\hspace{1em}(17)}$$

2、NDT

NDT（Normal Distribution Transform，正态分布变换）算法认为点云在局部服从正态分布，算法将点云空间划分为体素，并假设在每个体素中的点服从同一正态分布，正态分布的分布参数可以通过目标点云中落入体素的点估计，这样就将每个体素中的目标点云都转变为了正态分布这一更能表达其局部统计信息的统计量，在位姿估计时，只需在位姿变换下，将源点云中的点与正态分布进行关联，并最大化全体源点云经位姿变换后得到的点在其对应的正态分布下的抽取概率的乘积，并不断迭代，从而得到源点云到目标点云的最优位姿变换

NDT算法分为构建体素，数据关联，位姿估计三个步骤，下面分别介绍这三个步骤

一、构建体素

应用体素方法建立目标点云$P$的哈希表，对哈希表中存在的每个体素$\mathrm{Voxel}$，可认为其中的点服从分布$\mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$

根据目标点云中落入体素$\mathrm{Voxel}$中的点，可以估计$\mathrm{Voxel}$的正态分布参数$\mathbf{\mu },\mathbf{\Sigma }$

二、数据关联

对点云$Q$中的每个点${\mathbf{q}}_i$，根据哈希表查找其经位姿变换得到的点$\mathbf{R}{\mathbf{q}}_i+\mathbf{t}$所在的体素${\mathrm{Voxel}}_i$，若该体素有效，即其中存在目标点云中的点，则将${\mathbf{q}}_i$与$\mathcal{N}({\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)$关联。记全部关联的点—正态分布对为$({\mathbf{q}}_i,\mathcal{N}({\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)),i=1,\cdots ,s$

三、位姿估计

$\mathbf{R}{\mathbf{q}}_i+\mathbf{t}$在体素${\mathrm{Voxel}}_i$下的似然为
$$p(\mathbf{R}{\mathbf{q}}_i+\mathbf{t}|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)\propto \exp \left(-\frac{1}{2}{\mathbf{e}}_i^T{\mathbf{\Sigma }}_i^{-1}{\mathbf{e}}_i\right)\text{\hspace{1em}(18)}$$
其中
$${\mathbf{e}}_i=\mathbf{R}{\mathbf{q}}_i+\mathbf{t}-{\mathbf{\mu }}_i\text{\hspace{1em}(19)}$$
对固定的点和体素的关联，优化目标是最大化全体$\mathbf{R}{\mathbf{q}}_i+\mathbf{t}$在其所在的体素下的似然的乘积，即
$$\begin{array}{rl}[\mathbf{R},\mathbf{t}{]}^{\ast }& =\underset{\mathbf{R},\mathbf{t}}{\mathrm{argmax}}\prod _{i=1}^{s}p(\mathbf{R}{\mathbf{q}}_i+\mathbf{t}|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)\\ & =\underset{\mathbf{R},\mathbf{t}}{\mathrm{argmin}}\sum _{i=1}^s{\mathbf{e}}_i^T{\mathbf{\Sigma }}_i^{-1}{\mathbf{e}}_i\end{array}\text{\hspace{1em}(20)}$$
点和体素的关联关系是在迭代过程中不断调整的，故该问题被反复求解。仍采用增量方程的方式求解上述优化问题。

应用NDT算法求源点云 Q = { q 1 , ⋯   , q m } Q=\{\mathbf{q}_{1},\cdots,\mathbf{q}_{m}\} Q={q1​,⋯,qm​}到目标点云 P = { p 1 , ⋯   , p n } P=\{\mathbf{p}_{1},\cdots,\mathbf{p}_{n}\} P={p1​,⋯,pn​}的位姿变换$\mathbf{x}=[\mathbf{R},\mathbf{t}]$的步骤如下：

---

1. 应用体素方法建立目标点云$P$的哈希表，对每个体素$\mathrm{Voxel}$，根据包含在其中的点，计算均值$\mathbf{\mu }$，协方差矩阵$\mathbf{\Sigma }$

2. 令$k=0$，给定初始的位姿估计为${\mathbf{x}}_0=[{\mathbf{R}}_0,{\mathbf{t}}_0]$

3. 对点云$Q$中的每个点${\mathbf{q}}_i$，根据哈希表查找其经位姿变换得到的点${\mathbf{R}}_k{\mathbf{q}}_i+{\mathbf{t}}_k$所在的体素${\mathrm{Voxel}}_i$，若该体素有效，则将${\mathbf{q}}_i$与$\mathcal{N}({\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)$关联

4. 对每个点—体素对$({\mathbf{q}}_i,\mathcal{N}({\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i))$

   计算关联误差
   $${\mathbf{e}}_i={\mathbf{R}}_k{\mathbf{q}}_i+{\mathbf{t}}_k-{\mathbf{\mu }}_i$$
   计算误差向量对状态量的雅可比矩阵
   $${\mathbf{J}}_i={\left[\frac{\partial {\mathbf{e}}_i}{\partial \mathbf{R}},\frac{\partial {\mathbf{e}}_i}{\partial \mathbf{t}}\right]|}_{{\mathbf{R}}_k,{\mathbf{t}}_k}=\left[-{\mathbf{R}}_k{\mathbf{q}}_i^{\wedge },\mathbf{I}\right]$$
   将信息矩阵赋值为该体素上的信息矩阵
   $${\mathbf{\Omega }}_i=({\mathbf{\Sigma }}_i+\lambda \mathbf{I}{)}^{-1}$$

5. 根据${\mathbf{J}}_i,{\mathbf{e}}_i,i=1,\cdots ,s$求出海森矩阵${\mathbf{H}}_k$，梯度${\mathbf{b}}_k$
   $$\begin{array}{rl}{\mathbf{H}}_k=\sum _{i=1}^s{\mathbf{J}}_i^T{\mathbf{\Omega }}_i{\mathbf{J}}_i{\mathbf{b}}_k& =\sum _{i=1}^s{\mathbf{J}}_i^T{\mathbf{\Omega }}_i{\mathbf{e}}_i\end{array}$$

6. 求解增量方程
   $${\mathbf{H}}_k\Delta {\mathbf{x}}_k=-{\mathbf{b}}_k$$

7. 若$\Delta {\mathbf{x}}_k$足够小，则认为算法已收敛，退出；否则令${\mathbf{x}}_{k+1}={\mathbf{x}}_k\oplus \Delta {\mathbf{x}}_k$，$k=k+1$，返回3

---

实验：点云配准方法对比

现有两组三维点云，采用多线程版本的不同方法求第二组点云到第一组点云中的位姿变换所需的时间，与真实位姿的误差如下

	点到点ICP	点到面ICP	点到线ICP	NDT（体素大小$r=1$，仅取中心体素）
时间（毫秒）	$192.25$	$217.618$	$381.422$	$68.55$
误差	$0.015$	$0.000014$	$0.033$	$0.003$

附录

§1、拉格朗日乘子法

求解如下优化问题
$$\begin{array}{rl}\min & f(\mathbf{x})\\ \mathrm{subject}\mathrm{to}& g_i(\mathbf{x})=0i=1,\cdots ,m\\ & h_j(\mathbf{x})⩽0j=1,\cdots ,n\end{array}\text{\hspace{1em}(A1)}$$
问题的定义域为 D = { x ∈ R N ∣ g i ( x ) = 0 , h j ( x ) ⩽ 0 } D=\{\mathbf{x}\in\mathbb{R}^{N}|g_{i}(\mathbf{x})=0,h_{j}(\mathbf{x})\leqslant0\} D={x∈RN∣gi​(x)=0,hj​(x)⩽0}，其中$f,g_i,h_j$在${\mathbb{R}}^N$上具有连续的一阶偏导数

首先定义拉格朗日函数
$$L(\mathbf{x},\mathbf{\lambda },\mathbf{\mu })=f(\mathbf{x})+\sum _{i=1}^m{\lambda }_i{g}_i(\mathbf{x})+\sum _{i=1}^n{\mu }_j{h}_j(\mathbf{x})\text{\hspace{1em}(A2)}$$
其中$\mathbf{\lambda }=[{\lambda }_1,\cdots ,{\lambda }_m{]}^T$，$\mathbf{\mu }=[{\mu }_1,\cdots ,{\mu }_n{]}^T$称为问题$(A1)$的拉格朗日乘子向量。

下列方程组为优化问题取得极值点的必要条件，也称为Karush-Kuhn-Tucker条件，简称KKT条件
$$\{\begin{array}{r}{\nabla }_{\mathbf{x}}L(\mathbf{x},\mathbf{\lambda },\mathbf{\mu })={\nabla }_{\mathbf{x}}f(\mathbf{x})+\sum _{j=1}^m{\lambda }_i{\nabla }_{\mathbf{x}}{g}_i(\mathbf{x})+\sum _{i=1}^n{\mu }_j{\nabla }_{\mathbf{x}}{h}_j(\mathbf{x})=0\\ g_i(\mathbf{x})=0i=1,\cdots ,m\\ h_j(\mathbf{x})⩽0j=1,\cdots ,n\\ {\mu }_j⩾0j=1,\cdots ,n\\ {\mu }_j{h}_j(\mathbf{x})=0j=1,\cdots ,n\end{array}\text{\hspace{1em}(A3)}$$
需要注意，通过上式求出的${\mathbf{x}}^{\ast }$可能为约束邻域上的局部极大/极小值点（内部、边界），非局部极大/极小值点的普通驻点（内部，边界），鞍点（内部）