机器学习 李宏毅 L38-Ensemble

Ensemble之bagging

对于较复杂的模型，其模型可能会造成较大的variance，因此可以通过多个模型进行平均或者投票，得到variance较小的总体模型，如下图所示。

一个容易overfit的模型是决策树，decision tree。而random forest是决策树进行bagging的版本。

Ensemble之boosting

boosting可以用于提升较弱classifier的性能。boosting利用不同的classifier进行互补，从而增强单个classifier的性能。

对于数据集，可以采用对于数据集赋予不同的权重，从而保证数据集能够被合理利用。
boosting中较为经典的方法为adaboost。其思想为，对于一个训练好的模型，通过调整权重