随机森林

bagging是bootstrap aggregation的缩写，表示依靠自身的资源实现系统性能的提升，有时候我们用所有的样本训练也只能得到一个弱分类器，这个时候，我们可以通过多次对样本重抽样的方式得到不完全相同的样本建立多个弱分类器，由多个弱分类器投票结果觉得弱分类器属于哪一类，这就是bagging的思想。

随机森林是在bagging的基础上做了改进，不仅是随机选取子样本，在建立决策树时也是随机选择节点上的一部分特征学习。最终也是通过投票表决结果，决定数据属于哪一类。

随机森林也可以处理回归的问题，根据随机选取的子样本得到拟合函数，重复多次可以得到多条拟合函数，对同一个自变量，取这几条拟合函数的因变量的平均值作为自变量的估值，这就是随机森林在回归问题上的应用方式。

随机森林也是常用的处理样本不均衡的方法，因为在选取训练数据和分类特征的过程中，它都是在随机的状态完成的，所有，随机森林不容易在机器学习的过程中过拟合，对数据的适应能力很强，也使它具备很好的泛化能力。对于处理样本的不均衡的问题，常用的方法有：

• 1、多类欠采样：对于样本较多的种类，可以利用聚类将类分为若干子类，在每个子类中挑选一定的样本组成新的子类与少类进入模型；
• 2、少类过采样：可避免欠采样造成的信息缺失，但在无法得到更多的少类样本情况下，一般需要通过在少类区域中随机插值得到新样本。
• 3、代价敏感学习：降低多类权值，提高少类权值。

随机森林也可以计算样本间的相似度与衡量特征的重要度

• 1、计算样本间的相似度：统计样本间位于相同决策树的叶节点个数，形成相似度矩阵，这也可以做样本的异常值检测。
• 2、计算特征的重要度：计算正例经过的节点，使用经过节点的数目、经过节点的gini系数和等指标。或者使用某特征加入噪声干扰的袋外数据的预测错误率衡量该特征的重要度。