isomap的matlab实现,算法 – 理解集成学习及其在Matlab中的实现

ensemble learning的基本思想是结合多个模型来提高预测性能.它们被认为是设计用于在现有学习算法之上工作的元算法.有各种方法：

> Bagging(代表Bootstrap Aggregation)生成一组模型,每个模型都对数据的随机抽样进行训练(bootstrap resampling：具有替换的样本N实例).来自这些模型的预测被组合/聚合以使用平均产生最终预测.

> Random Subspace：想法是随机化学习算法,例如在应用训练算法之前随机选择特征子集(例如,考虑Random Forest).每个模型都是根据投影到随机选择的子空间的数据进行训练的.然后通常通过简单的多数投票来组合模型的输出.

> Boosting：还建立在投票/平均多个模型的概念之上,然而它根据模型的性能对模型进行加权.它以迭代的方式构建模型,鼓励新模型成为早期模型错误分类的实例的“专家”.如果基础学习算法不太复杂(弱学习者),则提升效果最佳.该算法有几种变体(AdaBoost,LogitBoost,GentleBoost,LPBoost等).

> Stacking：结合多个基础学习者的预测(通常是不同类型：kNN,ANN,SVM等),不像以前那样使用投票,而是使用元学习器(基于模型输出训练的模型) ).因此,基础学习者的预测作为输入数据被馈送到下一层中的元学习者以产生最终预测.

Note: Except for Subspace method, all boosting and bagging algorithms are based on 070018. Subspace can use either 070019 or 070020 learners.

例如,以下代码使用安装在训练数据集X上的AdaBoost方法和相应的类Y训练决策树集合分类器(由100棵树组成).

ens = fitensemble(X, Y, 'AdaBoostM1', 100, 'Tree')

(M1部分表示二进制分类器,有多类问题的扩展M2版本)