论文阅读：Global optimization with one-class classification-assisted selection

最新推荐文章于 2022-04-13 16:05:58 发布

还是要努力呀！

最新推荐文章于 2022-04-13 16:05:58 发布

阅读量386

点赞数

分类专栏：论文阅读文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/qq_33021529/article/details/121230421

版权

论文阅读专栏收录该内容

14 篇文章 0 订阅

订阅专栏

文章提出了一种单类分类辅助选择策略(OCAS)来减少进化算法中的适应度评估次数。通过将选择过程视为单类分类问题，使用OCC模型预测后代解的类别，仅评估“有希望”的解决方案，从而节省计算资源。实验表明，OCAS策略在多个测试实例上显著减少了适应度评估次数，提高了算法效率。

摘要由CSDN通过智能技术生成

另可通过Wolai笔记查看：Global optimization with one-class classification-assisted selection

原作者：Jinyuan Zhang, Jimmy Xiangji Huang , Qinmin Vivian Hu

发表期刊：Swarm and Evolutionary Computation

文献链接：Global optimization with one-class classification-assisted selection

摘要

进化算法中的选择方式是从一组候选中选择有希望的解决方案。大多数选择策略都是适应度驱动的，每个解决方案都是根据其适应度值来选择的。这种基于适应度的策略导致了适应度评估的浪费，因为一些没有希望的解决方案被扔掉了，同时在评估中没有提供有价值的搜索信息。我们的目的是减少选择过程中适应度评估的次数。我们将选择过程视为单类分类过程，这样与具有目前最佳解的种群相似的后代解更有可能被选择。我们使用分类器来预测新生成的解决方案的类别。出于评估目的，只能选择那些预测的“有希望”的解决方案。EAs的效率可以大大提高，因为该过程是基于适应性评估之前的决策变量(特征)。基于这一考虑，我们提出了一种单类分类辅助选择策略OCAS。我们将OCAS策略应用于两个EAs，并在三个测试套件中对其进行研究。实验结果表明，OCAS可以明显减少适应度评估的次数。

介绍和研究动机

进化算法是一种启发式优化方法。由于进化算法具有获得全局最优和几乎所有最优结果的优势，因此它在解决优化问题时受到了广泛关注。

EA的主要框架总是包括三个主要组成部分：

初始化，初始化一个优化问题的原始种群；
复制，从当前的种群中产生新的解决方案；
选择，其基于当前和后代种群确定新种群。

大多数选择策略都是基于适应值的，这意味着只有适应值较好的解才会被选择用于新的群体，而较差的解会被丢弃。因为被评估的解决方案只被使用一次，所以许多适应性评估(FEs)被浪费了。因为EAs的时间复杂度通常由FEs的数量来衡量，并且现实世界问题的FEs可能在计算上是昂贵的，所以EAs通常是耗时的。

我们被激励将EAs中的解决方案选择视为一个分类问题，其中选择的解决方案是“有希望”的，而丢弃的解决方案是“没有希望”的。基于这一思想，本文提出了一种分类辅助选择策略来减少FEs的数量。在大多数EAs中，我们只关注“好的”数据，并且维持群体是由几代人之后相对“好”的解决方案组成。为这种EA维护适当的训练数据集并不容易。因此，通常只需要单类训练数据点的一类分类(OCC)方法比二类或多类模型更适合辅助选择。

根据这一思想，我们提出了一种单类分类辅助选择策略，并将其集成到EAs中。我们引入了OCC分类模型，并基于每一代的当前种群来构建它。然后，OCC模型标记子代群体中的解，并选择“有希望的”解进行评估。这种策略提供了以下好处：

“有希望”和“没有希望”的解决方案由OCC模型自动分组；
在选择过程中只评估“有希望的”解决方案，而“没有希望的”解决方案不经评估就直接扔掉；
通过对后代群体进行分类，节省了FEs的数量；
在我们模型的训练阶段，我们只需要“有前途的”解决方案。

本文的主要贡献总结如下：

我们将进化算法的解决方案选择方式视为一个OCC问题，以减少FEs的数量，被选择的解决方案是“有希望”的，而被抛弃的解决方案是“没有希望”的。
我们提出了一个单级分类辅助选择(OCAS)策略来选择适合度评估的解决方案。我们使用OCC模型进行分类。不同于现有的基于分类器的算法需要准备两类数据来建立模型，我们将当前种群中的所有解决方案视为“有希望”的解决方案，这些解决方案被用作建模的唯一数据类别。
提出的OCAS策略是一个通用框架。我们可以将不同类型的OCC模型应用于OCAS，也可以将OCAS集成到不同类型的EAs中。我们将提出的OCAS应用到两个EAs中，并用三个测试集进行研究。实验结果显示了我们提出的OCAS在显著减少FEs数量方面的效率。

单类分类辅助选择策略

优化问题的数学表达

$\min_{x\in \Omega}{f(x)}$

其中， $x=(x_1, x_2, \dots ,x_n)^T$ 是一个 $n$ 维决策变量； $\Omega$ 是搜索空间的可行域； $f:R^n \to R$ 是目标函数。

本篇文章提出了单类分类辅助选择策略，OCG模型帮助筛选出无前途的解决方案。因为这些无前途的解决方案不用被评估，适应度评估的数量就会降低。

基于OCAS的进化算法

在这里插入图片描述
OCAS-EA的主要组件在流程图中用红色方块表示：

我们将当前种群定义为“有希望的”训练数据集，并用 $“ l a b e l = 1 ”$ 标记种群中的解决方案.
使用标记过的解决方案来训练OCC模型。
使用OCC模型来预测子代解的标签。
只评估预测的“有希望”的解决方案。
我们将“有希望的”解决方案和父代解决方案应用选择过程产生新一代种群。

基于这些策略，通过使用OCC模型来减少FEs的数量，在该模型中,“没有希望的”后代解决方案在没有评估的情况下被直接丢弃。
在这里插入图片描述

随机生成 $N$ 个解决方案来组成初始种群 $P$ ；
如果适应值评估的次数达到指定值，则停止算法：
给 $P$ 中的每一个解决方案 $x$ 分配标签 $l_x=1$ ，生成训练集；
使用标记过的训练集来训练OCC模型；
基于当前种群 $P$ 生成子代种群 $Q$ ；
设置 $Q$ 中的每个解决方案y的适应度： $f(y)=\infty$ ；
通过OCC模型标记 $Q$ 中的每个解决方案 $y$ ；
判断 $Q$ 中是否存在标记为１的解决方案 $y$ ；
评估 $Q$ 中标记为１的解决方案；
如果 $Q$ 中不存在标记为1的解决方案，则评估 $Q$ 中所有解决方案的适应度值；
通过OCAS策略从 $P$ 和 $Q$ 中选择 $N$ 个解决方案组成新一代种群。

OCAS-EA是一个通用的算法框架。OCAS策略可以应用于各种最先进的EAs。大多数OCC算法可以应用于OCAS策略。OCAS-EA的实现将在接下来的章节中详细介绍。

数据准备

训练数据集是控制分类效率的重要组成部分。为了引导具有丰富信息的正确分类，具有搜索信息的先前种群是构建EAs中训练数据集的最佳候选。

让P和Q成为当前的训练集和新生成的数据集。训练数据集更新方式为： $P=Select(P\bigcup Q, M)$ ，其中 $Select(P\bigcup Q, M)$ 是从 $P\bigcup Q$ 中选择 $M$ 个解决方案， $M$ 为训练集的尺寸大小。

one-class classification(OCC)模型

不同于双类或多类模型，单类分类模型只需要一种类型的数据集来构建分类模型。OCC是针对分类问题提出的，这种问题中“好”和“坏”样本的数量不平衡，或者没有足够的“坏”样本用于模型训练。由于不存在两类训练数据集，OCC模型实际上侧重于学习训练数据的边界，而不是像传统的二类方法那样学习最大界限。基于SVM提出了多种OCC模型，还有基于其他机器学习方法的OCC模型。
在这里插入图片描述
图2示出了OCC模型的示例，其中图2 (a)绘制了示例数据，图2 (b)绘制了如何构建OCC模型：

红星代表好样本；
曲线表示仅根据好的样本建立的OCC模型的边界；
蓝色圆圈是没有任何类别信息的样本。

使用 $< y, l >$ 表示一个带有标记l的数据点y，因为在OCC模型中，l的值为１，所以数据点可以被写作 $< y, 1 >$ 。OCC模型的目的是在y和l之间找出一种关系： $l = O C C (y)$ 。

本文采用基于SVM的OCC模型(OCSVM) ，它在libsvm中实现，libsvm是一种广泛使用的SVM工具。OCSVM的目的是在特征空间中找到一个与零点(zero point)距离最大的超平面(hyperplane)，并且能够将数据点和零点分开。

OCSVM的问题定义为

$\min_{\omega,\xi,\rho} { \frac{1}{2}{||\omega||}^2-\rho + \frac{1}{\nu N}\sum^N_{i=1}{\xi^i} } \\ s.t. \qquad \omega \cdot \phi(y^i)\ge \rho- \xi^i \\ \qquad\qquad\xi^i \ge 0,i=1,\cdots,N.$
目标函数被定义为 $f(y)=sgn(\omega \cdot \phi(y)-\rho)$ 。
$y^i(i=1,\cdots,N)$ 是训练集；
$\nu \in (0,1]$ 设置误差小数部分的上界和训练集数量的下界；
$\omega$ 是权重向量， $\rho$ 是偏移量， $\omega$ 和 $\rho$ 定义了超平面；
$\xi$ 是非零的松弛变量；
$\phi$ 是变量空间到特征空间的特征映射。

OCSVM的时间复杂度为 $O(N^3)$ 。关于OCSVM的更多细节参考论文：Estimating the support of a high-dimensional distribution

选择

在进化算法中，大多选择策略可以分为两类：

基于个体的方法 ：
在这个类别中，每个子代解决方案与其父代进行比较。为新种群选择子代和父代解决方案中较好的一个。算法2中显示了该类别中的OCAS。
第2行， $count^i$ 用来记录已执行的世代数，此时解决方案 $x^i$ 还没更新。
第3行，如果父代解决方案在前两代中没有被更新，我们就评估它的子代。
6-8行，如果子代解 $y^i$ 的适应度值小于其父代 $x^i$ ，则用 $y^i$ 替代 $x^i$ ，否则 $x^i$ 仍保存在P中。

$P$ 中的每一个解决方案都会生成一个子代。 $Q$ 是含有 $N$ 个子代解决方案的种群。
基于种群的方法 ：
在这个类别中，将子代和部分种群合并，为新的种群选择更好的解决方案。算法3中显示了该类别中的OCAS。

第1行，将 $Q$ 中被评估过的解决方案集中到种群 $R$ 中；
第2行，将种群 $P$ 中的解决方案合并到 $R$ 中， $R＝Ｐ\bigcup R$ ；
第3行，按照适应度值对 $R$ 中的解决方案进行降序排序；
第4行，在排序后的种群 $R$ 中选择前 $N$ 个解决方案加入到P中。

繁殖操作

EDA/LS和CoDE繁殖算子被用来测试OCAS的效率：

EDA/LS：EDA/LS 是一种新提出的混合分布估计算法，具有良好的优化性能。
1.作为EDA的一种，EDA/LS的选择策略是基于种群的。
2.在后代繁殖过程中，同时使用了全局统计信息和解决方案局部信息。
3.便宜的和昂贵的本地搜索方法都被用来进行搜索过程。
CoDE：CoDE 是一个多算子DE，在优化上有很好的表现。
作为一种DE，CoDE的选择策略是基于个体的。
CoDE使用三种变异操作符以及子代繁殖的三组控制参数：
1. DE/rand/1/bin： $y=x^{r1}+F(r^{r2}-x^{r3})$
2. DE/rand/2/bin：y= $x^{r1}+F(r^{r2}-x^{r3})+F(r^{r4}-x^{r5})$
3. current-to-rand/1： $y=x+rnd(x^{r1}-x)+F(x^{r2}-x^{r3})$
$r 1, r 2, r 3, r 4, r 5$ 是 $[1, N]$ 之间的随机整数， $F$ 是标量因子， $r n d$ 在 $[0, 1]$ 中随机生成，具体细节查阅：Differential evolution with composite trial vector generation strategies and control parameters

在每一代中，为每个父代解生成三个候选子代解。但只有适应值最好的候选子代才被选为父代的真正后代。CoDE的计算复杂度是 $O (N d)$ 。

实验研究

实验设置

我们使用了YLL测试实例中的前13个例子进行研究。13个函数的特征如下：

$f 1 、 f 2 、 f 3 、 f 4$ 是单模的；

n=2,n=3时，f5是单模的；当n>3时，f5是多模的；

$f 6$ 是阶跃函数；

$f 7$ 是白噪声函数；

$f 8 、 f 9 、 f 10 、 f 11 、 f 12 、 f 13$ 是多模的。

对于所采用的OCC模型，核心是径向基函数。其他参数是默认值。

基于EDA/LS的方法的种群大小设为 $N = 150$ ；基于CoDE的方法的种群大小设为 $N = 30$ 。变量的维度 $n = 30$ 。终止条件为 $F E s = 300000$ 。每一个测试实例上每个算法运行 $30$ 次。

我们通过在5%的显著性水平上的Wilcoxon秩和检验评估算法性能的差异。在表1、表4和表5中，“+”、“-”或“~”表示对应算法所需的FEs数量“优于、劣于或类似于对比算法。

实验结果

在这一部分，我们研究了OCAS-EDA/LS和OCAS-CoDE与EDA/LS和CoDE相比的性能。
在这里插入图片描述

表1显示了两种比较算法在13个实例上获得相同适应值时所需的FEs的最小、最大、平均和标准数量。对于每个实例，我们记录两种比较算法可以获得的适应值。

对于OCAS-EDA/LS和EDA/LS，表1显示

相比EDA/LS，OCAS-EDA/LS在11个测试实例上以更少的评估次数获得适合度值。特别是在f9，OCAS-EDA/LS将EDA/LS的评估次数减少了一半。只有在 $f 3$ ，EDA/LS比OCAS-EDA/LS需要更少的评估。

相比CoDE，OCAS-CoDE在11个测试实例上用更少的FEs获得了相同的值。然而，在 $f 5$ ，CoDE比OCAS-CoDE需要更少的FEs。在 $f 8$ ，两种比较的算法需要相似的FEs。
在这里插入图片描述

图3绘出了OCAS-EDA/LS和EDA/LS所需的平均评估次数与不同适应值的关系。该图与表1中的结果一致。对于12个实例，基于OCAS的方法比原始算法占用更少的FEs。在 $f 3$ ，OCAS-EDA/LS在实现前三个值时需要较少的FEs，但是在最后一个值时需要较多的FEs

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Zqjn6TX2-1636445114936)(image/08.png)]

图4绘制了通过OCAS-CoDE和CoDE获得的平均适合度值与FEs数量的关系图。图4中的曲线与表1中的结果一致。在 $f1\sim f4、f6、f7、f9\sim f13$ ，OCAS-CoDE比CoDE收敛得更快，获得更好的优化结果。特别是在f9上，OCAS-CoDE收敛到最优结果“0”，而CoDE无法得到这个结果。在 $f 5$ ，OCAS-CoDE和CoDE在开始时收敛效果类似，但是在最后，CoDE获得了更好的结果。在 $f 8$ ，CoDE比OCAS-CoDE收敛得更快。

对训练数据集大小的敏感性研究

在本节中，我们考虑了模型构建中训练数据集大小的影响。我们将用于测试的OCAS-EDA/LS的种群大小从 $1 N$ 变化到 $4 N$ ( $N$ 是种群大小)。当在13个测试实例上实现相同的适应值时，每个策略所需的FEs的平均数量被记录并呈现在图5中。
在这里插入图片描述

统计结果表明，种群数量为 $1 N$ 的OCAS-EDA/LS在 $f1、f2、f4\sim f6、f8、f10\sim f13$ 中FEs最少。种群数量为 $2 N ， 3 N ， 4 N$ 的OCAS- EDA/LS在 $f 3$ ，$f9 $上优于种群数量为 $1 N$ 的OCAS- EDA/LS。在 $f 7$ 上，OCAS-EDA/LS在四种大小的训练数据集上的性能是相似的。根据这些结果，我们得出种群数量为 $1 N$ 的OCAS- EDA/LS优于其他三个训练数据集大小。 $1 N$ 是OCAS策略的最佳选择。

对SVM核敏感性研究

在本节中，我们考虑了我们在OCAS策略中采用的SVM模型的内核的影响。我们将带有线性核(t= 0)、多项式核( $t = 1$ )、RBF核( $t = 2$ )和sigmoid核( $t = 3$ )的OCAS-EDA/LS应用于测试套件。

在13个测试实例中，通过算法相对于FEs获得的平均适合度值如图6所示。
在这里插入图片描述

统计结果显示，在 $f1、f2、f4、f6、f7、f10\sim f12$ 上，带RBF的OCAS-EDA/LS优于带有其他三个内核的OCAS-EDA/LS。在 $f 5$ ，带有RBF和sigmoid核的OCAS-EDA/LS是最好的。在 $f 8$ 和f9，具有线性核的OCAS-EDA/LS是最好的。在 $f 3$ ，带有sigmoid内核的OCAS-EDA/LS是最好的。在 $f 13$ ，所有内核的OCAS-EDA/LS的性能都类似。

从这些结果来看，带有径向基函数的OCAS-EDA/LS优于其他三种核。此外，考虑到解的维数较高，径向基核可能是OCAS中的最佳选择。

讨论

我们通过比较有无OCAS策略的行为来评估OCAS在EDA/LS中的有效性。

在每一代，我们通过有无OCAS的EDA/LS生成两个种群。然后，我们计算OCAS选择的解决方案中优于无OCAS策略的EDA/LS选择的解决方案的数量。实验结果见表2。
在这里插入图片描述

给定的种群数量是 $N = 150$ 。结果表明，OCAS得到的大多数解都优于没有OCAS的算法。

因此，使用OCAS策略有很好的机会获得最佳解决方案来生成新种群。换句话说，OCAS可以过滤不好的解决方案。

我们还研究了OCAS中所采用的OCC模型的效率。我们进行了实验以获得f1和f5的OCC模型的Accuracy Rate，Precision Rate，Recall Rate。

Accuracy Rate是归入真类的解决方案的比率。

Precision Rate表示预测的正解与真实正解的比率。

Recall Rate是解决方案被正确预测的概率。

首先，我们将分类结果定义为四种类别：

true-positive(TP)、true-negative(TN)、false-positive(FP)、false-negative(FN)

$T P$ 表示好的解决方案被正确地归类为有希望的类别。

$T N$ 表示坏的解决方案被正确归类到无希望的类别。

$F P$ 表示坏的解决方案被错误地归类为有希望的类别。

$F N$ 表示好的积极解决方案被错误地归类为没有希望的类别。

然后定义Accuracy Rate，Precision Rate，Recall Rate：

$\quad Rate=(|TP|+|TN|)/(|TP|+|TN|+|FP|+|FN|)$

$\quad Rate=|TP|+(|TP|+|FP|)$

$Recall\quad Rate=|TP|/(|TP|+|FN|)$

图7显示了f1和f5每一代的三个比率。图7表明这三个比率是稳定的。OCC模型的Accuracy Rate和Precision Rate在60%左右。Recall Rate在95%左右。这些结果表明OCC模型能够高精度地预测解的类别。本节的实验结果表明，OCC模型在正确预测解的质量方面具有很高的精度。基于该模型，OCAS策略可以有效地为FEs选择有前景的解决方案。

在这里插入图片描述

优化时间

我们比较了表3中OCAS-EDA/LS、EDA/LS、OCAS-CoDE和CoDE的平均时间消耗。
在这里插入图片描述

结果表明，基于OCAS的算法比原始算法需要更多的时间。EDA/LS及其变体的种群规模大于CoDE及其变体。因此，当实现相同数量的FEs时，EDA/LS及其变体需要的迭代次数较少。与CoDE和OCAS-CoDE相比，EDA/LS和OCAS-EDA需要的时间更少。很明显，在算法中采用机器学习模型会增加CPU时间。对于某些问题，尤其是对于大多数现实世界的应用，FEs的计算成本很高。在这些情况下，每一代建模所需的时间将少于FEs的时间。因此，我们可以使用OCC模型通过显著减少FEs的数量来减少计算时间。

不同群体规模的效率研究

本节研究了不同种群规模N下，OCAS-EDA/LS和EDA/LS的性能我们选择 $N = 100, 200, 250, 300$ 进行实验。

图8绘制了当 $N = 100, 200, 250, 300$ 时，OCAS-EDA/LS和EDA/LS在 $f 1 、 f 5 、 f 7$ 和 $f 10$ 上的比较结果。OCAS-EDA/LS和EDA/LS在 $f 5$ 上的性能相似。与 $N = 100$ 时OCAS-EDA/LS在 $f 1$ 上的结果相比，EDA/LS获得了更好的结果，但是收敛速度较慢。在拥有4个种群规模下 $f 7$ 和 $f 10$ 的结果上，OCAS-EDA/LS的性能均优于EDA/LS。这些实验结果表明OCAS能够在不同的种群规模上提高原始算法的性能。

在这里插入图片描述

复杂计算问题的性能研究

在本节中，我们研究了三种不同维度 $n = 10, 30, 50$ 下OCAS-EDA/LS的性能。OCAS-EDA/LS 与双类SVM辅助EDA/LS (BCAS-EDA/LS) 和双类基于SVM的预选辅助EDA/LS (CPS-EDA/LS) 在四个计算量很大的问题(LZG01-LZG04)上进行了比较。实验设置与第4.1节相同。

在这里插入图片描述

表4显示:

就适应值中位数而言，当 $n = 10, 30, 50$ 时，OCAS-EDA/LS、BCAS-EDA/LS和CPS-EDA/LS获得最佳解{3、3、3}、{2、3、3}和{2、2、2}。

就平均适应值而言，OCAS-EDA/LS、BCAS-EDA/LS和CPS-EDA/LS在三个维度上获得了最佳解决方案{3，3，3}、{2，3，3}和{2，2，3}。

这些结果表明OCAS-EDA/LS的性能优于BCAS-EDA/LS和CPS-EDA/LS。

表4中的平均等级值显示

当 $n = 10$ 时，OCAS-EDA/LS具有最佳值，优于其他两种方法。

当 $n = 30$ 时，三种算法的性能相似。

当 $n = 50$ 时，BCAS-EDA/LS是最好的，OCAS-EDA/LS是第二好的。

这些结果表明OCAS-EDA/LS的性能优于BCAS-EDA/LS和CPS-EDA/LS。实验研究表明，在不同维度的计算代价较高的测试实例上，OCAS策略优于BCAS策略和CPS策略。

在CEC15上的实验结果

在这一节中，我们在CEC15测试套件上研究OCAS。

这15个函数的特征如下：

$F 1 、 F 2$ 为单模函数；

$\sim F5$ 是简单的多模函数；

$F6\sim F8$ 是混合型；

$F9\sim F15$ 是组合型。

实验设置与第4.1节相同。

在这里插入图片描述

表5显示了实验结果。我们可以看到：

对于OCAS- EDA/LS和EDA/LS：
得到相同的适应值时，OCAS- EDA/LS在9个测试实例上需要的FEs比EDA/LS少。
在 $F 2$ 函数上，EDA/LS比OCAS-EDA/LS需要更少的FEs。
在 $F 3 、 F 5 、 F 6 、 F 8 、 F 15$ 函数上，OCAS-EDA/LS和EDA/LS需要类似的FEs。
对于OCAS-CoDE和CoDE：
当达到相同的适应值时，OCAS在10个实例上需要更少的FEs。
在 $F 1$ 上，CoDE需要更少的FEs。
在 $F 6, F 10, F 13, F 14$ ，OCAS-CoDE和CoDE需要类似的FEs。