读-进化集成学习算法综述

---

原文：胡毅, 瞿博阳, 梁静, 王杰, 王艳丽. 进化集成学习算法综述. 智能科学与技术学报[J], 2021, 3(1): 18-35 doi:10.11959/j.issn.2096-6652.202103

---

一、引言

在集成学习中，不同子学习器的多样性与求得解的准确性或鲁棒性之间往往存在冲突，这种冲突一般可以通过调整子学习器自身结构参数或群体学习器的融合权值等方法解决，这明显是一个优化问题。

与传统优化方法相比，遗传算法、粒子群优化算法、差分进化算法等一系列进化算法具有适用性广、鲁棒性强、可以实现全局优化等特点。因此，一些学者讲集成学习与进化算法结合，形成进化集成学习算法。

在进化集成学习算法中，进化算法通常被用于集成学习系统中的样本选择、特征选择或对集成模型包含的参数、网络结构等进行优化，也有部分工作使用进化优化算法选择一组最佳子学习器（选择性集成学习）或对多个子学习器的融合策略进行优化。

进化集成学习算法示意图:

二、进化集成学习的理论基础与分类

1.集成学习的定义与理论依据

介绍偏差-方差-协方差分解理论：

分析指出，提高整个集成学习系统的关键在于设计相关性低的子学习器，即提高子学习器的多样性。

2.集成学习的组成

集成学习系统主要包括集成学习的生成和子学习器的融合两部分。

集成学习的生成主要通过一定的技术生成一系列好而不同的子学习器。
多样性：

• 数据多样性
• 参数多样性
• 结构多样性
• 其他

多样性和预测性能是集成学习方法的两个重要的指标。如何较好地平衡集成学习系统的多样性与预测性能是一个非常复杂的问题，采用经验法在大多数情况下并不能达到最佳效果，而进化优化算法的全局搜索特性为解决两种指标相互冲突的问题提供了契机，因此进化集成学习算法具有十分重要的理论意义和实际应用价值。

集成学习系统的另一个重要组成部分就是子学习器的融合，将多个子学习器的输出整合为最终的结果。常见的融合策略有多数投票、简单平均、基于权值的投票方法和基于Median Partition共识函数的融合策略等。

3.基于进化算法的集成学习方法

在进化集成学习算法中，首先将多个子学习器以Bagging、Adaboost等方法组建成集成学习模型，以样本子集、特征子集、网络参数和融合权值等为编码对象，对种群进行初始化。然后以最小化集成学习模型的预测精度或网络的复杂度，以及最大化网络结构的多样性为优化目标，对种群进行适应度评价。采用交叉和变异策略、小生境策略或档案集管理方法等机制，对种群中的个体进行更新，直至达到最大迭代次数或满足其他终止条件。

针对不同的集成学习模型，可以通过选择合适的进化算法来提高模型的整体学习能力。

如果仅考虑提高集成学习模型的预测准确性，则可以采用单目标优化算法。
如果同时考虑预测准确性与所建立模型的复杂性，则需选择多目标优化算法。

三、分类、回归和聚类问题中的进化集成学习算法