matlab 随机森林算法_深入浅出机器学习算法：随机森林

单棵决策树的劣势

有时候单棵决策树可能难以实现较高的准确率，这主要是由以下几个方面决定的：

• 求解一棵最优（泛化误差最小）的决策树是一个NP难（无法穷极所有可能的树结构）问题，往往得到的是局部最优解。
• 单棵树构建的模型往往不够稳定，样本变动很容易引起树结构的变动
• 解决过拟合问题除划分测试集和训练集外依赖于剪枝

回顾：元算法

从统计学的角度来讲，将模型的性能寄希望于单棵决策树是不稳健的，这意味着它在处理未知数据时预测结果的方差是较大的。如同我们做重要决定时会考虑多个专家的意见，元算法meta-algorithm主张综合多个分类器的结果做预测，元算法也被称为集成方法ensemble method，主要思路包括：

• 不同算法的集成
• 同一算法在不同设置下的集成
• 数据集不同部分分配给不同分类器后的集成

bagging

boostrap aggregating是对原始数据进行

次等概率的有放回抽样得到的和原数据集大小相等的

个新的数据集集合，再将某个学习算法作用于这

个数据集得到

个分类器，综合这

个分类器进行投票决策即可得到最终的分类结果。

boosting</