【说人话-论文导读1-1】约束进化优化的随机排序算法Stochastic Ranking for Constrained Evolutionary Optimization（持续更新中）

原文链接： Stochastic Ranking for Constrained Evolutionary Optimization
作者：Thomas P. Runarsson，Xin Yao

I. 介绍·Introduction

首先我们需要知道一个非线性优化问题A可以被形式化定义为：
$$minimizef(\mathbf{x}),x=(x_1,\cdots ,x_n)\in {\mathcal{R}}^n（1）$$

其中，$\mathbf{x}\in \mathcal{S}\cap \mathcal{F}$,$\mathcal{S}$表示解空间，$\mathcal{F}$表示可行解空间，且$\mathcal{S}\subseteq {\mathcal{R}}^n$，每个$\mathbf{x}$都有自己的变量上界和下界，记为： x i ‾ ≤ x i ≤ x i ‾ , i ∈ { 1 , ⋯   , n } （ 2 ） \underline{\boldsymbol{x}_i}\leq\boldsymbol{x}_i\leq\overline{\boldsymbol{x}_i},i\in\{1,\cdots,n\}（2） xi​​≤xi​≤xi​​,i∈{1,⋯,n}（2）

而最终的可行解还需满足一些约束条件（constrains），数学表示为：
g j ( x ) ≤ 0   ∀ j ∈ { 1 , ⋯   , m } } （ 3 ） g_j(\boldsymbol{x})\leq0\ \forall j\in\{1,\cdots,m\}\}（3） gj​(x)≤0 ∀j∈{1,⋯,m}}（3）

处理约束优化问题的一种常见方法是在目标函数中引入惩罚项，以惩罚违反约束的行为。惩罚项的引入使我们能够将一个受约束的优化问题（A）转化为一个不受约束的问题（A’），数学表示为：$$\psi (\mathbf{x})=f(\mathbf{x})+r_g\varphi (g_j(\mathbf{x}))（4）$$

具体来说，$f(\mathbf{x})$是原始的目标函数，而$r_g\varphi (g_j(\mathbf{x}))$是添加到目标函数中的惩罚项。每个$g_j(\mathbf{x})$代表一个约束条件，而$\varphi$是一个非负的实值函数，用于施加惩罚，可以简单理解为某个个体（解）满足约束条件的程度。参数$r_g$是惩罚系数，它是随着迭代次数$g$变化的一系列值，这意味着随着算法的迭代，惩罚的力度可以动态调整。
$r_g$的设定是一个值得讨论的问题，当$r_g$设定的太小时，不可行的解可能会因为没有受到足够的惩罚而被保留下来。这意味着优化算法可能会找到一个不满足约束条件的解，并且由于惩罚不够，这个不可行的解仍然有可能在演化过程中被选中并传递到下一代。相反，如果$r_g$设定得太大，那么即使是在演化早期阶段对于不可行区域的一点小小的探索也会受到严重的惩罚。这会使得算法倾向于只在可行区域内进行搜索，从而限制了整个搜索空间的探索，特别是在可行解区域是不连续的情况下。在这种情况下，如果没有探索不可行区域，算法可能很难从一个可行区域跳跃到另一个，除非这两个区域非常接近的情况。换句话说，一个合理设定的$r_g$可以帮助算法在不同的可行区域之间过渡，而一个不合理的值则可能导致算法陷入局部最优或者完全忽略某些有前景的区域。
在一些简单问题上，$r_g$通常被动态地设定成随着代数单调非减的函数，而实际情况我们知道，$r_g$依赖于问题本身，其中一种最具潜力的方法是自适应调整$r_g$，这种方法通过遗传算法本身（比如种群信息）来进行自动地、动态地调整。这种调整策略的优势是它能被应用到那些有着很少先验知识的问题中，因为我们不需要去找到一个预定义好的$r_g$函数。
根据上面的公式我们可以知道，不同的$r_g$定义了不同的适应度函数。一个解（个体）在某一个适应度函数下适应，并不代表它在另一个适应度函数下也适应。我们尝试自适应地找到一个最优的$r_g$值等效于自适应地给种群中的个体排序。（这句话很重要，我多讲两句，因为不同的$r_g$对应了不同的适应度函数，而适应度函数会对每一个个体进行一个适应度值的评估，适应度高的个体保留，低的个体淘汰，所以不同$r_g$对应的个体适应度评估值也不相同，所以种群中个体的排序也不相同，于是，一个最优的$r_g$值等效于一个最优的排序）。
一种可以避免设置惩罚系数$r_g$的办法是将约束优化问题转化成多目标优化问题，其中，约束被视为额外的目标函数，然而多目标优化并不比约束优化简单，因为在优化中必须平衡不同的目标。

II. 随机排序约束处理

A. 惩罚方法

给定一个惩罚系数$r_g>0$，有以下排序：
$$\psi ({\mathbf{x}}_1)\le \psi ({\mathbf{x}}_2)\le \cdots \le \psi ({\mathbf{x}}_{\lambda })（5）$$

让我们关注其中的相邻两项，并且定义一个临界惩罚系数$\widehat{r_i}=(f_{i+1}-f_i)/({\varphi }_i-{\varphi }_{i+1}),{\varphi }_i\ne {\varphi }_{i+1}$
f i + r g ϕ i ≤ f i + 1 + r g ϕ i + 1 , i ∈ { 1 , ⋯   , λ } （ 6 ） f_i+r_g\phi_i\leq f_{i+1}+r_g\phi_{i+1},i\in \{1,\cdots,\lambda\} （6） fi​+rg​ϕi​≤fi+1​+rg​ϕi+1​,i∈{1,⋯,λ}（6）

对于给定的$r_g>0$的选择，以下三种不同的情况可能会导致不等式（6）：

1. $f_i\le f_{i+1}$ and ${\varphi }_i\ge {\varphi }_{i+1}$：与不等式（6）比较说明，目标函数的大小关系是决定性因素，并且$0<r_g<\widehat{r_i}$。当比较的个体都是可行解时，${\varphi }_i={\varphi }_{i+1}$，$\widehat{r_i}\to \infty$。
2. $f_i\ge f_{i+1}$ and ${\varphi }_i<{\varphi }_{i+1}$：与不等式（6）比较说明，惩罚函数的大小关系是决定性因素，并且$0<\widehat{r_i}<r_g$。
3. $f_i<f_{i+1}$ and ${\varphi }_i<{\varphi }_{i+1}$：此时$\widehat{r_i}<0$，被称为非支配的，无论是目标还是惩罚函数都不能自行决定不平等（6）。

当比较第三种情况时，$r_g$的值对不等式（6）没有影响，换句话说，它不改变两个个体的排序。但是在前两种情况下，$r_g$的值很重要，因为$\widehat{r_i}$和$r_g$的关系将决定排序是以目标函数为主导的还是惩罚函数为主导的。举个例子，在第一种情况下，如果我们增加$r_g$使得$r_g>\widehat{r_i}$，那么第$i+1$个个体的适应度将会变得小于第$i$个个体的适应度。对于整个种群，$r_g$的选取将会决定被目标函数和惩罚函数支配的个体的分数。
然而，不是所有的$r_g$取值都会影响个体的排序，$r_g$的取值范围是$\underline{r_g}\le r_g\le \overline{r_g}$，这里的$\underline{r_g}$是根据相邻个体仅根据目标函数计算出的最小关键惩罚系数，$\overline{r_g}$是根据相邻个体仅根据惩罚函数计算出的最大关键惩罚系数。简单来说，这意味着为了对个体进行排名，不是所有的惩罚系数都有效，它们必须在一个特定的计算出的范围内，这个范围由与目标函数和惩罚函数相关的计算结果决定。

1. $r_g<\underline{r_g}$：所有比较仅基于适应度函数，$r_g$过小，导致其不足以影响个体之间的排序，我们称其为弱惩罚underpenalization.
2. $r_g>\overline{r_g}$：所有比较仅基于惩罚函数，$r_g$过大，导致目标函数的影响可以忽略，我们称其为过惩罚overpenalization.
3. $\underline{r_g}\le r_g\le \overline{r_g}$所有的比较都是基于目标函数和惩罚函数的组合。

所有的惩罚方法都可以被归类为以上三类，理解这三类方法十分重要，因为它们表明了哪个函数（函数的组合）正在推动搜索过程以及搜索是如何进行的。举个例子，为了找到既包含可行个体又包含不可行个体的好区域，大多数动态方法起始于一个较小的$r_g$值，比如$r_g<\underline{r_g}$。当搜索接近尾声，一个较大的$r_g$值（ $r_g>\overline{r_g}$）常被用来所有更好的可行解。对于无约束全局最优与其约束全局最优接近的问题，这种动态方法将很好地工作。但是对于那些约束全局最优远离其无约束的全局最优的问题时，这种方法起始时的较小$r_g$值将会推动搜索朝向无约束全局最优，从而进一步远离约束全局最优。
在传统演化算法的进化策略中，处理约束的技术大致属于过惩罚的范畴，因为它们认为所有不可行的个体都被认为比可行的个体更差。实际上，规范进化策略（ES）只允许初始种群中有可行解，为了实施约束优化，ES可以用于通过最小化惩罚函数来找到有特征的初始种群，一旦找到可行的总体，ES算法将最小化目标函数，并拒绝生成的所有不可行解。
实际上，弱惩罚和过惩罚都是很好的约束处理技术，我们应该在保留可行个体和拒绝不可行个体之间取得平衡，换言之，个体的排序应该由目标函数和惩罚函数的组合决定，因此惩罚系数$r_g$应该满足$\underline{r_g}\le r_g\le \overline{r_g}$。值得注意的是，这两个界限并不是固定的。它们依赖于问题，并且可能随着世代的变化而变化，因为它们也由当前的种群决定。
一个简单的方法用于平衡一个排序中目标函数和惩罚函数占主导的比例，是分别统计相邻两个个体是以目标函数为主导还是惩罚函数为主导的数量。给定$r_g$，通过公式$\widehat{r_i}=(f_{i+1}-f_i)/({\varphi }_i-{\varphi }_{i+1}),{\varphi }_i\ne {\varphi }_{i+1}$就能很快地比较。如果我们对应该由惩罚函数主导的相邻个体对的数量有预定的偏好，那么可以依此找到相应的惩罚系数$r_g$。
从本节的分析中可以清楚地看出，惩罚方法所要做的就是在目标函数和惩罚函数之间获得正确的平衡，从而使搜索在可行空间中向最优方向移动，而不仅仅是在可行和不可行的组合空间中向最佳方向移动。有效实现这种平衡的一种方法是直接而明确地调整这种平衡。这就是下一节中描述的随机排序的作用。

B. 随机排序

因为最优的$r_g$很难选择，这里采用了一个不同的办法来实现目标函数和惩罚函数主导的平衡。这里引入了在搜索空间的不可行区域中仅使用目标函数进行比较的概率为$P_f$。也就是说，给定任意一对相邻的个体，如果两个个体都是可行解，则根据目标函数比较它们（以确定哪一个适应度更高）的概率为1，如果其中至少一个为不可行解，则用目标函数比较他们的概率为$P_f$。
在这里，排序是通过一个类似冒泡排序的过程实现的（可以看成随机版本的冒泡排序）。其中，$\lambda$个个体在至少$\lambda$次扫描内通过比较相邻个体进行排序，当在一次完整的扫描中排名顺序没有发生变化时，该过程将停止。在排序过程中，相邻个体赢得比较（即保持较高排名）的概率为：
$$P_w=P_{fw}{P}_f+P_{\varphi w}(1-P_f)(7)$$

当两个比较的个体中至少一个个体是不可行解时，$P_{fw}$是个体通过目标函数赢得比较的概率，$P_{\varphi w}$是个体通过惩罚函数赢得比较的概率。当两个个体都是可行解时，$P_w=P_{fw}$，因为上文提到“如果两个个体都是可行解，则根据目标函数比较它们的概率为1”。我们想要研究赢得比较次数比失利多 k 次的概率，那么总赢得比较的次数必须是$k^{\prime }=(N+k)/2$，其中 $N$是总的比较次数。这里解释一下为什么是$(N+k)/2$，我们通过一个例子来明确这一点。如果你有5次比较（$N$ = 5），而要让一个个体被认为排名更高，他们需要赢得的次数必须多于输掉的次数。如果赢得的次数（$k^{\prime }$）小于或等于2，则输掉的次数将会多于赢得的次数。要确保他们赢得的次数多于输掉的次数，$k^{\prime }$ 必须至少是3。一般来说，对于$N$次比较，赢得$(N+1)/2$次是最小的多数胜出。现在，文中之所以用$(N+k)/2$而不是$(N+1)/2$，是因为$k$是达到某个期望排名位置所需要的胜出次数超过失败次数的额外次数。本质上，$k$表示胜出次数超过失败次数的幅度。当考虑到这个期望的幅度时，$(N+k)/2$公式给出了所需的总获胜次数。在$N$次比较中赢得$k^{\prime }$次比较的概率由二项分布给出:
$$P_w(y=k^{\prime })=\left(\genfrac{}{}{0ex}{}{N}{k^{\prime }}\right)P_w^{k^{\prime }}(1-P_w{)}^{N-k^{\prime }}（8）$$

而赢得至少$k^{\prime }$次比较的概率为：
$$P_w^{\prime }(y\ge k^{\prime })=1-\sum _{j=0}^{k^{\prime }-1}\left(\genfrac{}{}{0ex}{}{N}{j}\right)P_w^j(1-P_w{)}^{N-j}（9）$$

公式（8）和（9）表明，比较次数$N$越大，初始排名的影响就越小。这是因为随着比较次数的增加，个体赢得比较的概率分布变得更加平均，因此初始条件的影响会减弱。值得注意的是，不同个体赢得比较的概率（$P_w$）在排序的不同阶段通常是不同的。现在考虑一种情况，即当 $P_w$在整个排名过程中保持恒定，这是当$f_i<f_j$或${\varphi }_i>{\varphi }_j$且$i\ne j$时的情况，那么$P_{fw}=1$并且$P_{\varphi w}=0$。如果我们选择$P_f=1/2$，那么$P_w=1/2$。这将为基于目标函数或罚分函数的比较提供一个相等的机会。由于我们只对可行个体作为最终解感兴趣，$P_f$应小于$1/2$，这样就对不可行的解有偏见。偏见的强度可以通过简单地调整$P_f$来轻松调整。当参数$N$，即扫描的次数，趋近于无穷大时，排名将由的$P_f$偏见决定。也就是说，如果$P_f>1/2$，排名是基于目标函数的；当$P_f<1/2$时，排名是基于惩罚函数的。因此，增加排名扫描的次数实际上相当于改变参数$P_f$，使其更大或更小。因此，我们可以通过调整$P_f$来调整达到最佳性能。表1展示了我们算法30次独立运行的平均结果。表中的数字表示最终种群中可行个体的百分比。从表中很清楚地看到，当$P_f>1/2$ 时，除非无约束的最优解恰好与约束的最优解相同，否则很难找到可行的解决方案。

文章给出了伪代码如下：

（未完待续……）