五、决策树与随机森林实战

一、决策树的评价

二、决策树的过拟合

决策树过拟合主要有两种处理方法：1.剪枝，2.随机森林。

剪枝分为预剪枝和后剪枝。

预剪枝是指在建立决策树的过程中进行剪枝，如给定树的最大高度、每个叶结点包含的样本最少个数、最小熵值等。

后剪枝见ppt



三、bagging策略

bagging策略常结合决策树等弱分类器，常常不与SVM、logistic回归等强分类器结合（也不是不可）。

通过概率论的知识推导，可得BoostStrap每次约有36.79%的样本不会出现在所采样的样本集合中，这些数据成为袋外数据（OOB），它可以用于作为测试集。

四、随机森林





五、投票机制

六、样本不均衡处理方法

降采样可能较过采样好一些，速度快、不易受噪声影响。

七、随机森林的几个应用



异常点应该很容易被分开，因此根到叶子长度特别短，很可能是异常点。