【文献阅读笔记】综述2005 《A Comprehensive Survey of Fitness Approximation in Evolutionary Computation》

最新推荐文章于 2022-03-02 10:42:42 发布

cunane

最新推荐文章于 2022-03-02 10:42:42 发布

阅读量531

点赞数 1

本文链接：https://blog.csdn.net/cunane/article/details/96427775

版权

本文深入探讨了进化计算中适应值的估计方法，包括多项式、高斯过程、神经网络和SVM等模型。文章强调模型管理的重要性，如数据采样、模型选择和误差测量。此外，讨论了估计模型在种群初始化、交叉和变异等进化步骤中的应用，并提出了适应值评价中的模型管理策略，如固定和自适应进化控制。未来的研究方向包括设计更好的学习方法和处理非线性约束问题。

摘要由CSDN通过智能技术生成

Abstract
- 本文主要回顾了估计精度，模型管理方法，模型构建方法
1 Introduciton
- 目前适应值估计的常用方法：
  - 多项式
  - 高斯过程
  - 前馈神经网络
  - SVM
- 模型管理：估计模型和真实函数应该共同使用
- 如何提高估计模型的精度
  - 模型的选择
  - 数据的采样和权重
  - 训练方法的选择
  - 误差测量的选择
2 Motivations 使用估计模型的一些原因
- 适应值的计算十分费时
- 没有明确的计算模型
- 有环境噪声
- 函数是多模态的（波动较多，不够平滑）
  - 在不改变全局最优值位置的情况下，让估计模型逼近原函数且平滑掉一些局部最优值。推荐：使用Gaussian kernel来实现coarse-to-fine地平滑化real function
3 估计的层次
- 问题估计problem approximation
  - 用一个更简单的近似问题来替代原问题（e.g.实验变仿真，3D变2D）
- 函数估计functional approximation
  - 构造一个显示表达式来替代原目标函数
- 进化估计evolutionary approximation
  - “适应值继承”方法：用父代的适应值来评估子代的适应值
  - “适应值模仿”方法：将所有个体聚类，只评估每类中代表性个体的适应值。再用它的适应值来评估其他个体的适应值
4 适应值估计模型的使用位置
- 4.1 估计模型可用于何处？
  - 子种群之间个体的迁移
  - 种群初始化；引导交叉；引导变异
    - 由于初始化、交叉、变异本身是随机的，因此即便是用一个低精度模型来引导，也会比完全随机的要好。然而，适应值评估的减少可能不是很显著。
  - 适应值评价【使用最多的地方】
    - 文献[22]：通过计算出适应值估计的置信区间，以修改模型预测，以便鼓励算法探索未知区域
- 4.2 模型管理or进化控制
  - 将估计模型用于适应值评价是最有效的。其中，主要有两点需要考虑：
    - 首先，确保算法收敛到全局最优/近似全局最优
    - 其次，尽可能减少计算代价
  - 估计模型和real function需要一起使用——模型管理
    - 实际函数用于评价部分个体or某些代的全部个体
      - 由real function评价的个体称为controlled individual
      - 由real function评价全部个体的代称为controlled generation
  - 模型管理的分类：
    - No evolution control
      完全不使用real function，只用估计模型
    - Fixed evolution control
      - individual-based
        每一代中，部分个体用估计模型评价，部分个体用real function评价：
        best strategy:估计模型认为最好的个体，用real func重新评估
        random strategy:随机选择个体，用real func重新评估
      - generation-based
        方法一：当算法收敛到估计模型的时候，启用一次real funciton评估
        方法二：固定几代中进行一次real funciton评估
      - 缺点：由于估计模型的精确度会不断变化，事先固定的进化控制策略+模型误差会导致优化过程中的强烈震荡
    - Adaptive evolution control
      - 使用real function的频率应随着估计模型的精度而变化
5 估计模型
- 5.1 多项式模型
- 5.2 高斯过程模型（Kriging model)
  - 全局模型+局部偏移
  - 优点：可以得到置信区间（估计值的精确度）
  - 缺点：需要计算矩阵的转置。当维度较高，计算代价增加。
- 5.3 神经网络
  - 常见：前馈多层感知器、径向基函数网络
- 5.4 SVM
  - 优点：在学习过程中没有局部最小值，泛化误差不依赖于空间的维度
- 5.5 点评
  模型的好坏没有固定的评判标准，因为需要依赖问题来判断。不过仍有一些通用的认识：
  - 先用简单的估计模型，看看能否拟合训练数据；如果不行，再改用更高复杂度的估计模型，例如高阶多项式or神经网络。
  - 然而，如果输入空间是高维的且采样数据很有限，则推荐神经网络。
  - 要估计二阶多项式模型的未知参数，至少需要（n + 1）×（n + 2）/ 2个数据样本
  - 如果使用神经网络，尤其是多层感知器网络，需要考虑调节模型复杂度来防止过拟合
  - 如果发现基于梯度下降的方法收敛缓慢，则可能还需要尝试其他更有效的训练方法[68]
  - 在一些研究中，RBF网络发现具有良好的准确性和快速性[78,35]
6 数据采样技术
- 当在进化计算中使用估计模型时，离线和在线训练都要涉及到。
  - 离线学习：估计模型在用于进化计算之前的训练过程（可以用蒙特卡洛方法得到数据）
  - 在线学习：估计模型在优化过程中的更新
- 6.1 离线数据采样
  - DoE
    - OA
    - CCD
    - D-optimality
  - Active learning 主动学习
    - 基本思想：以优化某个目标函数的方式选择下一个采样数据的位置。该目标函数可以是信息增益，熵减少或泛化误差。
    - 优点：在不增加采样个数的情况下，提高神经网络的泛化能力
- 6.2 在线数据采样
  - 已经收集到数据之后，如何有效地选择一个数据的子集用来训练模型也很重要。
  - Bagging & Boosting
  - Active data selection
  - Data weighting guided by evolution
7 讨论
- 缺乏理论证明
- 全局模型or局部模型？
  - 局部模型更简单可行
- 在哪里使用估计模型？
  - 用于迁移——不太有效
  - 用于各种算子——对模型精度要求较低，但不确定能节省多少适应值计算代价
  - 用于适应值评估——最有效地减少适应值计算次数，但是低质量模型可能会误导算法
- 未来研究方向：
  - 设计更好的学习方法（来构建估计模型）
    - 可能方式一：结合问题类型
    - 可能方式二：结合先验知识
  - 变输入维度时的估计模型
  - 如何处理带有一般非线性约束的问题
  - 管理不同层次的估计模型