- 随机森林由决策树组成,这些决策树是随机的,随机性由随机选择属性、数据决定。由于这个特点,这些决策树也叫随机决策树。随机性可以避免过分拟合。
- 测试数据进入随机森林时,实质是由一个个决策树进行分类,最后的类别由这些决策树的输出的众数决定。
- ID3、C4.5算法的区别是,ID3处理离散值,C4.5处理连续值
- 某个属性的信息增益越大,说明这个属性越重要。
- 随机森林构造过程:
5.1如果数据集包含N条数据,则随机有放回的选择N个样本.这是决策树随机性的一个保证.
5.2当有M个属性时,在决策树每次需要分裂时,从M个属性中随机选择m个属性(m<<M).在这m个属性中,选择一种策略进行分裂(信息增益),决定进行分裂的属性。
5.3每个节点都进行重复步骤2的分裂,直到得到叶子节点。整个过程没有进行剪枝。这样建立起一棵决策树。
5.4重复步骤1~3,建立随机森林。
随机森林有两个参数需要人工干预:
1.树的数量,一般为一个很大的值。百~千。
2.m,应为一个远小于M的值。一些文章中提到,m为M的均方根,一个值的均方根不是自己嘛?
(http://en.wikipedia.org/wiki/Random_forest#From_bagging_to_random_forests
Typically, for a dataset with p features, √p features are used in each split.
m为M的方差)
TODO:ID3、C4.5