论文阅读:Assessing the Performance of Interactive Multiobjective Optimization Methods: A Survey

Assessing the Performance of Interactive Multiobjective Optimization Methods: A Survey

作者:BEKIR AFSAR、KAISA MIETTINEN、FRANCISCO RUIZ
期刊:ACM Comput.、2021
DOI:10.1145/3448301


引言

多目标优化问题需要同时优化几个相互冲突的目标函数,通常没有任何解决方案可以使所有目标都达到各自的最优值。帕累托最优解具有不同的权衡。

可以使用不同的方法来解决多目标优化问题,我们通常需要来自具有领域专业知识的决策者 (DM) 的偏好信息来找到目标之间的最佳平衡。方法可以根据 DM 在解决过程中的作用分为无偏好方法(没有偏好信息可用)、先验方法(解决方案满足某些 DM 事先提供的偏好)、后验方法(生成一组具有代表性的帕累托最优解供 DM 选择)和交互方法(DM 迭代地参与求解过程)[29, 421]。

交互式方法已被证明是解决多目标优化问题的可行方法,因为它们使 DM 能够了解目标函数之间的权衡、可行解类型以及偏好信息的可行度(参见参考[4]2)。此外,它们可以提高计算效率,因为只需要生成反映 DM 偏好的帕累托最优解。

文献中提出了许多交互方法,它们之间存在差异,例如,DM表达偏好信息的方式,DM与方法之间如何交换信息,制定什么样的子问题得到基于可用的偏好信息的解决方案,以及停止标准是什么(例如,参见参考文献 [29, 443, 63, 64])。既有基于标量化的交互方法(例如,参见参考文献 [42、44、484])和进化方法(参见参考文献 [5]5)。

内容简介


交互式方法是解决多目标优化问题的有效决策工具,因为它允许决策者在学习问题的各个方面的同时,以一种舒适的方式迭代地提供他/她的偏好信息。现在有各种各样的交互式方法,它们在技术方面和所使用的偏好信息类型方面各不相同。因此,评估交互式方法的性能可以帮助用户针对给定的问题选择最合适的方法。这是一个具有挑战性的任务,已经从不同的角度在出版文献中被解决了。我们提出了一个文献调查,其中交互式多目标优化方法已经评估(单独或比较其他方法)。除了其他特征,我们还收集了关于决策者类型的信息(效用函数或价值函数,人工或人工决策者) ,提供的偏好信息类型,以及交互式方法的某些方面。根据调查和我们自己的经验,我们确定了一系列我们认为应该评估的交互式方法的理想特性。

内容摘录


  • Methods can be classified based on the role of the DM in the solution process

    1. no-preference methods (where no preference information is available),
    2. a priori methods (where solutions satisfying some, a priori stated, DM’s preferences are found),
    3. a posteriori methods (where a representative set of Pareto optimal solutions is generated for the DM to choose from),
    4. interactive methods (where the DM participates in the solution process iteratively).
  • Many interactive methods have been proposed in the literature, and they differ from each other.

    1. in the way the DM expresses preference information;
    2. how information is exchanged between the DM and the method;
    3. what kind of sub-problems are formulated to get solutions based on the preference information available;
    4. what is the stopping criterion
      (see, e.g., References [29,44,63,64])
  • Assessing the performance of interactive methods and comparing them is important to be able to find the most suitable interactive methods for various needs.

  • the process stops when the DM is satisfied and confident with the final solution. However, it is not necessarily clear what this actually means.

  • Comparing interactive methods is not simple, because the DM plays an important role and learns during the solution process and, thus, the order in which different methods are applied affects the results.

  • we call interactive methods non ad hoc ones if a utility or value function can play the role of the DM.

  • To avoid the need of having (large numbers of) DMs, artificial DMs have been introduced recently for comparing interactive methods in References [2,28,51].

  • Because of the iterative nature, the DM can learn about the relationships (tradeoffs) among the different objectives and, thus, gain valuable insight about the phenomena involved. The DM can also change one’s preferences based on the learning.

    类似这种对交互式方法的一般性评价,在综述中需要标记引用吗?应该不需要吧,每篇论文中都有叙述,并没有引用

  • the following types of preference information are considered:

    1. Comparison of solutions
    2. Local tradeoffs
    3. Aspiration levels
    4. Classification
    5. Weights
    6. Bounds
  • Another important aspect of interactive methods is when to stop the solution process.

    1. a technical stopping criterion
    2. the DM may freely decide to stop
  • 后续内容是对文章中挑选的交互式方法进行分类评估:

    • 对比方式:

      a single interactive method

      type of DMs、type of Preferences、what was measured、stopping Criteria、User Interface

    • compare an interactive method with non-interactive ones

      文章中简单介绍了三种算法与一种后验式算法的比较

    • compare seceral interacive methods.

      type of DMs、type of Preferences、what was measured、stopping Criteria、User Interface

    • 偏好信息的类型:

      1. Choosing the best (and/or worst) one(s) in a given subset of (Pareto optimal) solutions;

      2. Ranking a subset of solutions;

      3. Performing pairwise comparisons of solutions;

      4. Giving desirable aspiration values (reference points) or directions of improvement for objective functions;

      5. Classifying objectives (improvement in some objective(s) only possible by allowing impairment in some other(s));

      6. Giving indifference tradeoff information to derive MRS among objectives;

      7. Providing weights for objective functions.

      8. Giving upper or lower bounds on certain objective functions

总结

在本文中,我们专注于评估和比较交互方法,并进行了相关文献调查。在讨论了所涉及的挑战之后,我们总结了 45 篇论文的发现,涵盖了 48 个数值实验。实验分为展示单一交互方法的实验、比较交互方法和后验方法的实验以及比较几种交互方法的实验。我们收集了有关所进行的实验类型和所涉及的性能标准、所涉及的 DM 类型和所考虑问题的性质等信息,并分析了调查结果。


  1. Kaisa Miettinen. 1999. Nonlinear Multiobjective Optimization. Kluwer Academic Publishers, Boston, MA ↩︎

  2. V. Belton, S. Greco, P. Eskelinen, J. Molina, F. Ruiz, and R. Slowinski. 2008. Interactive multiobjective optimization from a learning perspective. In Multiobjective Optimization: Interactive and Evolutionary Approaches, J. Branke, K. Deb,
    K. Miettinen, and R. Slowinski (Eds.). Springer, Berlin, 405–434 ↩︎

  3. Kaisa Miettinen, Jussi Hakanen, and Dmitry Podkopaev. 2016. Interactive nonlinear multiobjective optimization methods. In Multiple Criteria Decision Analysis (2nd ed.), Salvatore Greco, Matthias Ehrgott, and José Rui Figueira (Eds.).
    Springer, New York, 927–976. ↩︎

  4. Kaisa Miettinen, F. Ruiz, and A. P. Wierzbicki. 2008. Introduction to multiobjective optimization: Interactive approaches. In Multiobjective Optimization: Interactive and Evolutionary Approaches, J. Branke, K. Deb, K. Miettinen, and
    R Slowinski (Eds.). Springer, Berlin, 27–57 ↩︎

  5. Jürgen Branke, Kalyanmoy Deb, Kaisa Miettinen, and Roman Slowiński (Eds.). 2008. Multiobjective Optimization: Interactive and Evolutionary Approaches. Springer, Berlin ↩︎

  • 16
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
为评估生成模型的改进精确度和召回率指标,首先需要理解生成模型的基本概念。生成模型是一种用于根据给定的输入数据生成新样本的机器学习模型。它可以学习数据的分布,并生成与训练数据相似的新样本。 精确度和召回率是评估模型性能的重要指标。精确度衡量模型生成的样本中正确样本的比例,而召回率衡量模型是否能够完整地生成真实样本的比例。 对于评估生成模型的精确度和召回率,可以考虑以下改进指标: 1. 平均精确度:除了计算总体精确度外,还可以计算每个类别的精确度,并求其平均值。这可以帮助我们了解模型在不同类别上的性能差异,并对结果进行更精细的分析。 2. 样本多样性:在评估生成模型时,除了关注精确度和召回率,还应注意样本生成的多样性。生成模型应该能够生成多样化的样本,而不仅仅是在训练数据上的复制。我们可以使用多样性指标,如样本覆盖率和互信息来衡量生成样本的多样性。 3. 异常检测:生成模型应能够生成稀有或异常样本。因此,我们可以引入一个异常检测指标,例如生成模型中的KL散度,以评估模型对于异常样本的生成能力。 4. 推断速度:对于生成模型的评估,推断速度也是一个重要的指标。快速的推断能力可以提高模型的实时性,使其适用于许多实际应用。 通过引入这些改进指标,我们可以更全面地评估生成模型的性能。这些指标可以提供有关模型的精确度、召回率、样本多样性、异常检测和推断速度等方面的信息,帮助我们更好地了解生成模型的潜力和局限性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值