文章品读：多目标优化中的解集质量评估：一项调查 Quality Evaluation of Solution Sets in Multiobjective Optimisation: A Survey

---

前言

这应该是本人认真看的第一篇英文论文，因此看的比较细致，本文对多目标优化中的解集的各质量评估指标做了较为详细的总结与评估，对其各个方面做了详细的介绍，最后对未来的方向进行了展望。

摘要

现在复杂的和多样的多目标优化问题导致各种搜索技术的出现，从传统的数学程序到各种随机启发式算法。一个关键性的问题是如何评估这些多目标搜索基础产生的解集的质量。本问提供了一个对解集质量评估的综述。首先介绍了解集质量评估的基本原则和概念，本文总结并分类了100个质量指标，并关注于这些指标反应出的哪些方面的质量。然后对每种类型选取几个有代表性的指标进行了详细的描述并深度分析他们的长处和缺点。此外，那些关于属性的问题，包括指标所拥有的和指标希望拥有的属性都有被讨论，希望促进研究人员在设计质量指标的时候关注这些问题，同时让从业人员在选择/使用质量指标时能够牢记这些问题。最后，给出了这个领域的未来的趋势和潜在的研究方向的建议，同时还包括这些方向的一些指导路线。

一、介绍

在多目标优化中，目标之间是相互冲突的，没有一个单独的优化解，取而代之的是一个Pareto优化解集。而Pareto解集中的一个解不能在一个目标上提高而不在其他目标上降低（即一个目标上的变好会导致其他的目标变坏）。

多目标优化中一个重要的问题是去评估和比较解集的质量，例如那些由不同的多目标优化器生成的解。然而，多目标优化问题中，两个解集可能是不可比较的。一个直接的方法去对比解集的质量是进行可视化。然而可视化的方式难以进行量化并且在存在较多目标的时候（>3)难以可视化。

质量指标作为一个可量化的解集比较方式被提了出来。他能够将一个解集映射成一个实数。他能够被使用于：
（1）比较竞争多目标优化器，揭露他们的长处和缺点，并识别出最有前景的一个。
（2）监控优化器的搜索过程，优化其参数并潜在的提高他们的表现。
（3）定义优化器的停止标准，特别是对于那些有随机性的优化器。
（4）将选择标准整合进优化器中，明确的指导搜索，例如代替Pareto支配标准。

总的来说，QI在文献中的研究可以分为五类：
（1）QI的设计。大多数的QI研究属于这类，目标是设计一个可靠高效的QI去评估和比较解集。
（2）基于QI的搜索。主要是在多目标优化中通过使用QI来指导搜索。
（3）QI的理论研究。这类工作是设计QI中一些重要的问题。例如分析QI的计算复杂度，一些QI所需要的属性等等。
（4）了解现在存在的QI。包括对特定QI的行为调查，一组QI的效果调查等。
（5）审查QI的某些方面。这类关注一些具体的方面，例如对精确的多目标优化器的评论，一个对在文献中频繁使用的QI的数据统计，如何设计QI的指导评论或者对于一个实际的问题如何选取一个合适的QI等等。

基于上述，我们可以看出没有一个质量评估研究方面的综合评论，现有的工作关注于质量评估的一个或者几个特别的方面。因此，本文就是为了填上这一缺陷，覆盖了质量评估的所有重要的方面。我们首先系统的评论了100个QI，分析了其中有代表性的QI的长短处，讨论了质量评估的主要问题，给出了设计、选择和使用QI的详细的推荐，并推荐几个质量评估中未来的研究方向。

值得注意的是本文主要关注解集的质量评估，而不是多目标优化器。

二、背景

2.1专门术语

不失一般性，我们考虑一个有着n个决策属性和m个目标函数的最小化的多目标优化问题。

假设存在两个解$x,y$，如果对于m个目标中的任一目标$i$，均存在$x_i\le y_i$,那么我们称解x弱（Pareto）支配y。如果存在至少一个目标j使得$x_j<y_j$，那么我们称x支配y。一个解集中的一个解x，如果不存在任何一个其他解支配x，那么我们称其为Pareto最优。集合中的所有Pareto最优解都称为Pareto front。如果对于m个目标中的任一目标$i$，均存在$x_i<y_i$,那么我们称解x严格（Pareto）支配y。

这样的在解上的关系也能扩展到解集中。假设A和B是两给非支配解集。
定义1：如果B中的每个解b都被A中至少一个解a弱支配，那么我们称A弱支配B。
定义2：如果B中的每个解b都被A中至少一个解a支配，那么我们称A支配B。
定义3：如果B中的每个解b都被A中至少一个解a严格支配，那么我们称A严格支配B。
定义4：如果A弱支配B并且至少存在一对解a、b使得a支配b，那么我们称A强优于（strongly outperform）B。
定义5如果A弱支配B并且存在至少一个解a不被B中任何一个解所弱支配，那么我们称A优于（better）B。这一关系也被称为弱优于，他代表两个集合之间的最一般和最弱势的优势关系，即A弱支配B但是B不弱支配A（A至少比B好一点点）。

上述的五个关系的强弱排序为：严格支配 > 支配 > 强优于 > 优于 > 弱支配。强优于和优于的区别是，优于关系中可能存在B是A的子集，但是强优于不可能。

2.2解集质量

“优于”关系是最常用来对比解集的偏好的一般假设。但是使用“优于”关系常常会遇到很多解无法对比的情况，因为一些集合之间的解都相互不支配的，这时候往往需要对决策者的偏好做出更大的假设，但是却无法保证其有效性，因为不同决策者的偏好是不同的。但是，一个解集如果有足够数量的非支配解，和Pareto front的距离更近，更好的广度和更好的分布的解通常是好的，它可以较好的代表Pareto front并因此很可能受到决策者的喜爱。总的来说，解集的质量能够解释为它能够多好的代表Pareto front，并可以被分成四个方面：收敛性、广度、均匀分布和基数。

一个集合的收敛性参照与他和Pareto front的距离。广度考虑的是集合覆盖的趋于。均匀分布考虑集合中解的分布情况，一个等距的解的分布是被期望的。广度和均匀分布之间有很强的关系，他们一起被称为解的多样性。解集的基数一般是考虑解集的数量。一般我们希望有足够的解集，但也不能过多导致决策则难以选择。

2.3质量比较

一个直接的方式就是进行可视化。在二维和三维目标的比较重很常用。在高于三维的情况中，直接使用可视化是不行的，人们可以采用数据分析领域的工具对其进行可视化。但是可视化的方法不能很好的反应解集放方面的所有质量，同时不能量化解集之间的质量差距，也就不能用其来指导优化。

质量指标就能直接清晰的表示解集在某一方面的质量。

三.文献中的质量指标的综述

本节基于QI所属的质量评估方面对各类QI进行评论。总的来说，QI可以分成六类。（1）收敛性的QI。（2）广度方面的QI。（3）均匀分布方面的QI。（4）基数方面的QI。（5）广度和均匀分布方面的QI。（6）所有四个方面的QI。每类都会选取几个有代表性的QI进行详细介绍。同时我们展示了文献中所提到的100个QI指标。

3.1收敛性方面的QI

作为解集质量最重要的一个方面，收敛性受到了很大的关注。文献中关于收敛性方面的QI主要有两个方面。一个是考虑解或者集合之间的Pareto支配关系，另一个则是考虑一个解集和Pareto front或者一个/几个源自于Pareto front的点的距离。

3.1.1基于支配方面的QI

这类QI考虑集合中解之间的支配关系。基于支配的质量考虑集合中一个解和他的“邻居”解之间的支配关系。

然而，所有的基于支配的QI有一些缺点。他们很难描述一个集合比其他集合好的程度。更重要的是，如果所有集合中的解相互非支配，可能会导致解集之间不可比较，而这在多目标优化问题中经常出现。另外，值得注意的是基于支配的QI可能受到解集的基数的影响，一个更大的集合可能导致有更多的非支配解。

3.1.2基于距离的QI

这类的QI也可以分成两部分，一是测量待考虑的解集和一个/几个源于Pareto front的特别的点的距离，例如理想点，拐点等。另一类是测量和一个能够很好代表Pareto front的参考集的距离。在这类中，GD是最常被使用的。

3.1.3 $C$指标

$C$指标是最出名的基于支配的QI。他考虑了两个解集之间的指派关系，并测量了他们在收敛性和基数方面的相对质量。

给出两个集合A和B，$C(A,B)$描述了B中的解被至少一个A中的解所支配的比例，即：

$C(A,B)$为0意味着没有一个B中的解被任何一个A中的解弱支配，而$C(A,B)$为1则意味着A弱支配B。

值得注意的是$C(A,B)$和$C(B,A)$都需要被计算，因为$C(A,B)!=1-C(B,A)$。除非两个集合相互没有解被支配。另一个问题是由于采用的支配关系是弱支配，因此$C(A,A)\ne 0$，并且两个非支配集合可以取到[0,1]之间的任何数，具体取多少取决于他们之间有多少的共同解。尽管可以用支配关系代替弱支配，但是这会导致结果不满足三角不等式。

3.1.4 GD指标

GD指标测量了集合中每个解和与其最近的Pareto front中的点的欧氏距离的二次方的均值。即：

其中A是待考虑的解集，$d_2$表示的是解$a_i$和Pareto front的欧氏距离。一般在实际中采用一个能够很好代表Pareto front的参考集R来代替，即

然而由于GD考虑二次均值，他对异常值特别敏感，如果一个集合中包含异常值，无论其他解表现如何都会返回一个较差的分数。另外GD受到解集大小的影响，当解集大小N趋近于无穷，GD趋近于0，尽管可能这个集合和Pareto front很远。因此，GD通常用在集合数量相同或相近的情况。幸运的是，这个问题可以通过修改为算术平均的方式解解决。实际上，将二次方改为一次方已经被广泛的接受及使用，例如IGD指标。

3.2广度方面的QI

广度的质量考虑解集所覆盖的面积。一个集合拥有好的广度应该包括Pareto front的每个部分而没有遗漏任何一个区域。然而大多数广度方面的QI只测量解集的程度。主要也分为两方面，一些考虑集合中极端的点形成的范围，另一些考虑集合中的边界解的范围。如下示意图所示。

（a)是实际情况，（b）是是边界解，（c）是极端解

但是QI如果仅仅考虑这些解可能错过Pareto front的内部区域的值。幸运的是，现在确实存在一些QI的设计考虑到了整个解集。

3.2.1 MS指标

MS指标通过考虑每个目标的最大程度测量了解集的范围。即：

MS的值越大，扩展性就越好。然而，MS仅仅考虑了集合中的解的极端情况，并不能反应广度质量。另外，MS没有将集合的收敛性考虑进去，可能一个解集距离Pareto front很远却有一个很好的MS结果。这可能很容易导致一个错误的评估。为了解决这个问题，Pareto front的范围可以作为一个评估的参考带入进来。

3.3 均匀性方面的QI

均匀性方面的质量指标描述了一个解集的分布有多么均匀。值得注意的是，一个集合中的解之间是等距离的不能保证他有很好的多样性，同时需要考虑广度方面的情况。

3.3.1 SP指标

作为均匀性方面最常用的指标，SP描述了集合中解之间距离的变化。即：

其中d的平均值表示所有$d_1(a_1,A/a_1),d_1(a_2,A/a_2),...,d_1(a_N,A/a_N)$的均值，而$d_1(a_1,A/a_1)$意味着$a_i$和集合$A/a_i$的曼哈顿距离。即

（感觉就像是距离的波动幅度的大小）

值越小意味着均匀性更好。SP值为0表示所有的解集中的解都是等距的。注意SP仅仅考虑了解和其邻居解的分布情况。甚至即便和MS一起使用，也不能覆盖集合的多样性质量，尽管这两个指标在许多文献中一起被使用以期望达到评价多样性质量的目的。例如以3.2中的图(b)和图（c）为例，这两个集合的SP和MS都是满分，但是他们仅仅考虑了边界值的情况。

3.4 基数方面的QI

基数方面的QI可以归结为一个简单的方式：计算非支配解的个数基于基数的QI的一个渴望的（必须的）属性是每当增加一个非支配解到集合中就能提高（不降低）评估结果。这方面的QI也可以分成两类，一是直接考虑集合中的非支配解，另一个是对比集合中的非支配解和Pareto最优解。由于解集的基数中包含很少代表Pareto front的相关信息，因此他被认为没有其他三个方面的质量重要。

3.4.1 ER指标

ER指标考虑解集中的非支配解是Pareto最优解的比例，即：

其中，N是集合A的个数，并且

ER的值越小越好，ER为0意味着ER中的每个解都是Pareto最优解。然而，ER仅仅统计Pareto最优解，可能带来一些违反直觉的情况，例如往集合中增加更多的非支配解可能造成更差的ER值。

3.5 广度和均匀分布方面的QI

广度和均匀分布在质量方面是紧密联系的，他们需要一起被考虑反应解集的均匀性。这方面的QI分成两类，基于距离的指标和基于区域划分的指标。

3.5.1 基于距离的QI

这类QI一般考虑解和邻居的距离，并求取距离的和，以此来估计整个集合的覆盖程度。然而，这些评估仅仅在双目标的问题中有效。另一个问题是这些QI需要Pareto front作为参考，而这在实际情况中难以得知的。

3.5.2 基于区域划分的QI

这类QI是将空间划分成很多等大小的块（可以重叠也可以不重叠），并统计其中存在集合中的解的块的数量。这个方法是基于如果一个集合拥有更加多元性的解意味着其能够占有更多的块的原理。

3.5.3 DCI指标

这类指标可能是不太实用的，特别是在高维度的情况下。基于距离的QI需要Paretofront，而基于区域划分的QI所划分的块的个数随着目标维度的增长呈指数级增长。然而DCI似乎是特别的哪一个，它不需要额外的信息，并且计算复杂度是二次方。

DCI评估几个阶级之间的相对质量。首先，所有被考虑的集合被放置在网格中，每个格子中可能存在一个或几个解。DCI仅仅考虑那些有解在上面的块。对于每个这样的块，DCI计算每个集合的贡献程度，贡献程度是一个[0,1]的值，值随着集合与块之间的距离的增加单调降低。值为1意味着存在至少一个解在该块上，值为0意味着没有一个解在块的邻居（附近），邻居的数量随着目标数量的增多而增多。最后，DCI求取所有被考虑的块的值的平均值，得到每个集合的DCI值。如果一个集合的解和所有被考虑的块都很近，就会获得一个很高的分数，反之亦反。然而需要注意的是被考虑的块通常不是均匀分布的，DCI更喜欢和其他集合有着相似分布的集合。

3.6 所有质量方面的QI

这类质量指标在文献中是最常被使用的，它覆盖了解集质量的所有四个方面。总的来说可以分成两方面，基于距离的QI和基于体积的QI。

3.6.1 基于距离的QI

基于距离的QI的最基础的想法是测量Pareto front和待考虑的解集之间的距离。因此，需要一个能够很好的代表Pareto front的参考集。仅仅当解集靠近参考集的每一个成员才可以获得一个好的评估值，因此反映了所有的质量方面，即收敛性、广度、均匀分布和基数。这一想法可以具体化为平均（或者求和）参考集的每个成员和与他们最近的解集中的解的距离。

测量Pareto front和解集之间的最大的不同（距离）可以很容易识别它们之间的差距。不像基于平均不同的QI，基于最大不同的QI有更清晰的物理意义。但是这种方式可能会失去一些信息。

DoM可以看成两种QI的组合。它不需要额外的信息，但是计算较为复杂。

3.6.2 基于体积的QI

这类的QI测量由考虑的解集和一些特别的对象共同决定的体积的大小。

值得提的是，没有一个QI能够很好的反应所有四个方面。

3.6.3 IGD指标

IGD是最常被使用的指标，正如其名，他是GD指标的反转，即测量Pareto front到待考虑的解集的距离。即：

然而，IGD的准确性很大程度取决于参考集和Pareto front的相似程度。

3.6.4 ϵ−指标

ϵ−指标考虑解集之间的最大不同。它有两种形式，增加形式的ϵ−指标和乘法形式ϵ−指标。即：

在原论文中，分布的计算公式如下图：

如果满足ϵ+ $\le$ 0或者ϵ*$\le$ 1证明A弱支配B。然而，这个指标仅仅考虑了集合中一个特疏解的一个特殊目标，因此指标可能忽略了集合之间的区别。可能导致不同表现得解集具有相同/相似的评估结果。

3.6.5 HV指标

由于他的可靠的实用性和理论性，HV指标是最常被使用的QI。它不需要一个代表Pareto front的参考集。其公式为：

λ称为勒贝格测度。简单的说一个集合的HV值可以视为一个取决于集合的解和参考点决定的超立方体的体积。HV指标的限制是他的运行时间随着目标个数呈指数增长。

3.6.6 IPF指标

IPF测量集合中每个非支配解和给出的在相应的最佳权重上的效用函数决定的多面体的体积。IPF指标测量分两步（1）寻找每个非支配解的最优权重区间。（2）通过这些最优权重区间进行积分整合效用函数。计算公式为：

当决策者的偏好可以在权重空间中表达，IPF测量集合能有多好的代表Pareto front。IPF的一个限制是他的计算复杂度随着目标个数呈指数级增加。

3.6.7 R Family 指标

和IPF相似，R family也整合了决策者的偏好到评估中但是，R指标是基于效用函数（而不是权重空间）。R family有sane指标，R2考虑了效用函数的期望值（像IPF指标），且R2是最常被使用的，它定义为：

如果集合的效用函数可以被表示成权重W和这些权重的参数化的效用函数，那么R2可以计算为：

IPF考虑一个连续的权重空间，计算时间呈指数增加，R2指标考虑离散的权重集合，计算更快但是相较而言准确率较低。

总的100个指标如下图所示：

4 质量评估方面的重要问题

这一节，我们讨论几个质量评估方面的重要问题。包括QI所拥有的属性和QI渴望拥有的属性。

4.1 一元，二元或M元指标

不同QI能够处理的解集数量是不同的。尽管大多数QI是一元的指标，也有一些QI能够处理M元指标（M$\ge 2$），这就给出M个解集的相对质量。相较于一元QI，M元QI有一些长处，例如需要更少的参考信息，更容易满足Pareto支配合规等。

但是，M元指标可能导致评估结果出现循环关系。这和QI所希望的拥有传递的属性，从而能够对解集进行排序的期望相反。即有可能出现某一QI上，A优于B，B优于C，但是C优于A的情况。另外，有一些M元QI不满足三角不等式。例如$C$指标。

值得注意的是一些M元的QI能够转换成一元QI。同样，一些一元的QI也能转换成二元QI。

4.2 计算效率

大多数的QI都很好计算，基于基数和多样性的QI的时间复杂度一般都是线性或者二次方。包括一个参考集/权重集的QI一般需要O(mNR)的时间复杂度。而对于M元的QI，一般需要$O(m{N}^{2}M)$的时间复杂度，因为通常需要将集合中每个解和其他所有解比较。因此其计算复杂度会呈指数级增长。

4.3 Pareto服从

当使用支配关系对比一个解集与其他解集的时候表示出“至少一样好”的时候，其在QI值上也表现出的是“至少一样好”那么这个QI可以称为Pareto服从的。即：

Pareto服从保证一个QI不和弱Pareto支配关系相冲突（也可以是其他支配关系)。很多广泛使用的QI指标都是Pareto不服从的，这说明他们违反了Pareto支配对解集的排序关系。一些具体情况下，一些Pareto不服从的QI加入了收敛性的评估后可能转换成Pareto服从。另一方面，一些不服从的QI经过修改后也可以变成Pareto服从的。多元指标相对是更容易被转换的，因为他们可以在评估中将支配关系引入。

Pareto服从的QI可能不能完全区别解集，因为它使用的是“优于”关系，即最一般的解集之间的优关系。为了解决这个问题，引入了一个更强的关系，称为严格Pareto服从。即：

4.4额外的问题知识

大多数的QI指标需要额外的参考信息，特别是收敛性相关的QI需要Pareto front相关的信息作为参考，例如理想点，最低点或者能够代表Pareto front的参考集。

4.4.1 参考点

最频繁使用的参考点是理想点和最低点。注意不能低估理想点。使用理想点可能会出现边界解的贡献程度低于内部解，因此建议使用一个参考点代替理想点。和理想点相比，决定最低点更加的困难。

4.4.2 参考集

理想的参考点要有足够的点、分布均匀并和Pareto front紧密联系。一般我们将所有考虑的集合中的解一起当作参考集，但是这会导致一些问题。每次加入新的解都需要重新更新参考集，并且这样的参考集不一定能很好地代表Pareto front，导致错误评估结果。

并且，参考集可能导致QI偏好于特定分布的解集，如果一个集合和其他的分布不同，无论他的分布好快都会返回一个坏的评分。一个方法取解决这个问题是先对参考集进行聚类，将近似的点聚为同一类，然后再评估，然而目前没有理论指导聚类的标准。另一个问题是参考集中的支配组织解（DRS）可能会影响解集的评估结果。

4.4.3 参数

略

4.5 范围和标准化

那些需要混合目标进行计算的QI可能需要考虑范围（或者标准化）。当目标是不可比较的，目标的范围越大，该目标对指标值所起的作用就越大。但是我们希望不同目标对于指标值的贡献是相同的。因此我们需要对目标进行标准化。但是这可能会被DRS所影响。这种情况下，大多数可解可能会在一些目标上被转换成一个很小范围内的值，导致这些目标上相较于其他目标对指标的贡献很小。可以使用非线性变换解决这一问题。

一些称为范围独立的QI不需要进行标准化。同样，一些混合了目标的质量评估也不一定需要进行标准化。

4.6 增加支配或者重复解的影响

QI希望增加支配或者重复解到解集中不会影响指标的结果，因为这不会为决策者增加更多有用的信息。

下图是上一章所讲述的所有指标在本节讲述的各属性或者渴望拥有的属性的情况。

五、未来研究方向

这章指出那些事未来几年比较有前景的研究方向，并给出一些指导。

5.1 QI设计

一个理想的QI指标应该是很容易计算的，Pareto服从，免疫支配/重复解增加，不需要归一化和额外知识的。然而现实中这样的指标目前仍不存在。另外如果不可避免需要使用额外的知识，使用理想点>最低点>参考集，这是基于在实际中的获取难度排序的。

5.2 QI的选择

尽管目前有许多QI可以供选择，人们还是只使用了其中一小部分。有几点原因，一是人们趋于使用习惯使用的指标，二是一些QI相对在实际中更友好，三是不同领域的研究者偏爱不同的QI。

十年前习惯考虑多个QI，每个QI负责其中一方面的质量。现在则更趋向于使用一个综合的QI去评价所有质量方面。现在也有一些研究考虑集成多个QI，不过这需要选择的QI具有多样性，否则多个类似的QI的效果跟单个没什么区别。

5.3 QI之间的联系

这类研究应该在负责相同质量方面的QI中进行，因为不同方面的QI之间是相互独立的。但是目前的研究没有深入提供如何选择QI。他们没有涉及到诸如是否几个具体的QI能够一起覆盖其他的QI或者提供一个合适的QI集合能够很好的覆盖对阶级质量的评估。另外，QI之间的连接也急需理论支持。

5.4选择分布

略

5.5基于QI的搜索

多目标优化的一个趋势是将QI整合到优化器中，优化器的结果则通过QI来评估，自然QI的值也会随着搜索过程逐步优化。基于指标的搜索，和基于Pareto的搜索以及基于分解的搜索成为了进化多目标优化的三个主流技术。具体的基于QI的搜索见下图：

5.6 超体积相关的问题

在进化多目标优化领域HV指标已经长时间成为一个话题中心。有几个问题一直吸引了研究者的注意，例如计算复杂度，基于HV的研究中的增量更新以及子集的选择。

5.6.1 计算复杂度

略

#5.6.2增量更新

HV的增量更新是测量当一个解从集合中增加或者移除，HV的值改变了多少。

5.6.3子集选择

多目标优化中对在HV指标重的一个大小为N的解集中选出最优的K个成为子集非常感兴趣。

5.7 融入决策者的偏好

多目标优化的最终目标是为决策者选出一个最能够表示他的偏好的解。当决策者的偏好不可利用，一个收敛性好的，有好的分布的解集更有可能被决策者满意。而当决策者的偏好可以利用，便将偏好作为参考融入解集评估中。当决策者的偏好是比较粗糙的，需要更严谨的设计去融入偏好。

5.8 用户方面的可理解性

另一个问题是评估结果对用户的可理解程度。仅仅返回一个或者多个值可能很难让用户理解解集的质量。

六、总结

多目标优化的问题在现实生活中得到了广泛的应用，并且对优化器的结果进行仔细的分析和合理的评估。这篇论文中，我们带来了多目标优化中关于质量评估的一个综述。我们分类了100个质量指标，详细介绍了其中的几个，并且讨论了质量指标所有用或者渴望拥有的一些属性。这些都表明不存在一个理想地质量指标对解集进行评估，并且不同的指标适合于不同的情况。

最后，我们建议了几个未来研究的方向，例如将决策者的偏好与质量评估相连接。这方面有两条路。一个是设计/修改质量比较，让决策者的偏好能够较容易的融入。另一方面是根据特定的问题设计/调整质量指标，这方面决策者的偏好会显示的或者隐式的给出。