随机森林是多个cart树(classification and regression tree)组合成的集成学习方法。
特征选择和剪枝操作:均基于信息熵,不确定性和精度。
对于离散特征:
计算数据的期望信息量。计算每一个特征分类的信息量。增益越大,说明信息越确定,精度越纯。选择信息增益最大的特征作为分类结点。
对于连续特征:
使用连续变量的中值作为分裂点,计算信息增益。后续同离散。
减枝分为预剪枝和后剪纸,避免过拟合。
将数据分为训练和验证集后,
预剪枝:在生成树的过程中,按照信息增益选取特征,若按该特征分枝后验证集精度提高,才进行划分。
后剪纸:树枝生长完全后,从上至下计算验证误差,若精度下降,则减去该枝。