利用解的KKTPM值度量其相对于真实最优解集的收敛程度

    在NSGA-III的拓展论文中，有学者利用KKT最优条件来度量解相对于真实解集的收敛程度，KKTPM（KKT近似度量），原来是用来设计多目标进化算法终止条件的，在这里用来确定在种群中最差收敛的非支配解。利用KKTRM的独特的能力设计基于局部搜索的MOEA来改进最差收敛种群成员的收敛性特征。

1、拉格朗日乘子法（Lagrange Multiplier) 和KKT条件

    拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。它们求得的结果只是必要条件，只有当目标函数是凸函数的情况下，才能保证是充分必要条件。

    对于第(i)类的优化问题，常常使用的方法就是Fermat定理，即求取目标函数f(x)的导数，然后令其为零，可以求得候选最优值，再在这些候选值中验证；如果是凸函数，可以保证是最优解。

    对于第(ii)类的优化问题，常常使用的方法就是拉格朗日乘子法，即把等式约束hj(x)用一个系数与f(x)写为一个式子，称为拉格朗日函数，该系数称为拉格朗日乘子。通过拉格朗日函数对各个变量求导，令其为零，可以求得候选值集合，然后验证求得最优值。

    对于第(iii)类的优化问题，常常使用的方法就是KKT条件。同样地，我们把所有的等式、不等式约束与f(x)写为一个式子，也叫拉格朗日函数，系数也称拉格朗日乘子，通过一些条件，可以求出最优值的必要条件，这个条件称为KKT条件。

1.1拉格朗日乘子法

1.2 KKT条件

    大多数实际优化问题都可表示为具有不等式约束条件的优化问题，求解此类问题的目标函数极值点一般用KKT条件。
    KKT最优化条件是Karush[1939]以及Kuhn和Tucker[1951]先后独立发表出来的。这组最优化条件在Kuhn和Tucker发表之后才逐渐受到重视, 因此许多书只记载成[Kuhn-Tucker 最优化条件 (Kuhn-Tucker conditions)]。

2、求解个体的KKTPM值

    KKTPM值的计算分为两类，一个是精确计算方法，计算消耗较大，一个是近似度量方法，计算消耗较小，在辨别收敛性差的个体的时候一般使用的是近似度量方法，下面介绍近似KKTPM值的求解方法：

2.1 近似KKTPM值计算方法

    论文中给出的KKTPM最优化问题定义如下：

    在上面的方程中中有3个约束控制该优化任务。
    第一个约束需要计算函数F和G的梯度，如下：

    第二个约束如下：

    第三个约束，因为xn+1是一个松弛变量，第三个约束满足以下设定：

（1）第一个近似方法（直接计算方法）：

    该方法忽略了第二个约束并且只用第一个约束来找到KKTPM值，该情况下，满足第一个约束可行解自动满足第二个约束。相应的优化问题等同于解决一个线性方程组，得到如下解：

    如图所示：

    Deb和Abouhawwash发现了这只发生在下列条件成立的情况下：

（2）三种快速计算方法

    一般情况下，并不满足上述条件，因此作者们通过使用三个快速计算方法给出了εk*的近似值，使其可以适应更通用的场景，如图：

    A、Adjusted KKTPM Computation Method
    调整后的KKTPM计算方法从直接解uD和对应的εkD，我们计算一个调整后的点‘A’，从来自第二个约束边界u=uD,简化计算εk值，如下

    B、Projected KKTPM Computation Method
    投影后的KKTPM计算方法：我们考虑另一个使用uDj近似计算方法。这次我们从直接解上（point’D’）（uD,εkD）做一个在第二个(线性)约束的边界上的投影并且获得投影KKTPM值(P点），如下：

    C、Estimated KKTPM Computation Method
    估计KKTPM计算方法，在许多测试问题上和很多工程设计问题上计算了以上的近似KKTPM值后，作者提出了一个聚合的KKTPM值，通过取平均数得到，并引用它作为估计的KKTPM值，如下：

参考文献：
    [1]《关于拉格朗日乘子法及KKT条件的探究》
    [2] Abouhawwash M , Seada H , Deb K . Towards faster convergence of evolutionary multi-criterion optimization algorithms using Karush Kuhn Tucker optimality based local search[J]. Computers & Operations Research, 2017, 79:331-346.