机器学习学习笔记 --- 集成方法简单介绍

集成方法 ensemble method

元算法 meta algorithm

概念：是对其他算法进行整合的一种形式

集成方法：

i.投票方法 bagging 基于数据随机抽样分类起构造的方法

ii.再学习 boosting 基于所有分类器的加权求和的方法

 

场景：

比较流行的是：

• Bagging 比较流行的是随机森林（random forest）

• Boosting 比较流行的是自适应增强 (AdaBoosts)

 

bagging与boosting区别与联系

1.bagging是一种与boosting很类似的技术，所使用的多个分类器的类型（数据量和特征量）都是一致的

2.bagging是由不同的分类器（1.数据随机化2特征随机化）经过训练，综合得出的出现最多的分类结果；boosting是通过已经有的分类器数据分的那些数据来获得新的分类器，得出最优的结果。

3.bagging中分类器权重是相等的，而boosting中分类器加权求和，所以权重并不相等，每个权重代表的是其对应分类器在上一轮迭代中的成功率。