机器学习（十）：随机森林与Bagging

随机森林

确保了解决策树，决策树

子树：从原数据集中有放回的选择相同数量（和原数据集数量相同）样本，并选择部分属性，以选择的样本和属性进行CART决策树构建

随机森林就是并行的构建T个子树的过程。
构建完毕后，对于一个预测数，使用构建好的T个子树进行预测，取最多的预测结果作为随机森林的预测结果。

完毕，以上就是随机森林的梗概。

这里对几个问题进行阐述：

• 为什么要有放回的抽样
  如果不是有放回的抽样，那么随机性就只是表现在了属性上，有放回的抽样是为了使得多个样本间既有一定的关联又有一定的差异

• 属性的数量如何选择
  一般来说，每棵树选择的属性数量=$log_2N$

• 需不需要剪枝
  不需要，相反，我们要使得每棵树尽可能充分的分裂，因为本身在选择属性和样本时就带了一定的随机性，因此在构建单个决策树时会减小过拟合

Bagging

Bagging（一般译为装袋）又称自助聚集（boot strap aggregating），是一种从样本集有放回的抽样技术，目的是获得n个不同的训练集。使用这些训练集训练出的分类器之间具有一定的差异，然后在通过服从多数原则来对数据进行预测，可以达到准确率高于任何一个单个分类器的效果。
通过一个例子来说明bagging的作用：

即主旨即在于单分类器的好而不同，好是指正确率应高于50%，不同是指每个分类器针对不同的样本子类。

随机森林即是bagging的绝佳应用，通过有放回的抽样和属性集的选择来达到每个分类器的不同。

关于bagging降低方法：为什么说bagging是减少variance，而boosting是减少bias?