机器学习（六）：叠加树模型

叠加树模型（Additive tree models, ATMs）是一种建立在多个决策树或者回归树之上的集成模型。许多经典的模型可以看做是特殊的叠加树模型，例如random forest, adaboost with trees, gradient boosting trees等。

ATM可以看做是一种N个决策树模型的集成，这里的N是树的数量，每个树输出一个真实的值，那么ATM的输出为：

1. 随机森林（Random Forests）

随机森林是一种bagging模型，其每个树都是在一组随机样本中使用随机选择的特征进行独立训练.

1. AdaBoost

Boosted trees集成多种弱分类器组成强分类器，对于boosting，每种弱分类器是一种典型的高偏差低方差的浅层树。

当训练一个新的弱分类器时，adaboost更多的关注那些在弱分类器上不能正确分类的实例。