随机森林与支持向量机
随机森林
- 目的
随机森林是一个用随机方式建立的,包含多个决策树的分类器。其随机性主要体现在两个方面:(1)训练每棵树时,从全部训练样本(样本数为N)中选取一个可能有重复的大小同样为N的数据集进行训练(即BootStrap取样);(2)在每个节点,随机选取所有特征的一个子集,用来计算最佳的分割方式。
- 优点
能够处理高维(即特征很多)的数据,并且不用进行特征选择,是随机选择的。
训练结束后,能够给出哪些特征比较重要。
模型的泛化能力较强。
训练速度快,容易做成并行化方法,训练时树与树之间是相互独立的。
在训练过程中,能够检测到特征间的相互影响。
对于不平衡的数据集来说,可以平衡误差。
具有鲁棒性,即使有特征遗失,仍可以维持准确度。
- 缺点
在噪音较大的分类或回归问题上会出现过拟合。
对于有不同取值的属性的数据,取值划分较多的属性会对随机森林产生很大的影响,因此随机森林在这种数据上产生的属性权值是不可信的。