决策树主要用来集成学习里,多棵决策树构成森林模型,像随机森林,在功率预测的数据处理中用的比较多。决策树可解决分类问题,也可解决回归问题。决策树的关键在于找到某种准则对数据特征进行划分,使得数据划分后的纯度较高。
现有用的比较多的衡量样本纯度的方法是信息熵,信息熵是用来描述随笔变量不确定的一个度量,信息熵越小,则说明样本的纯度越高。
在进行数据特征划分时,一般用信息增益,即原始样本的信息熵,经过划分后形成的信息增益来区分哪一种划分方式更优。那么信息增益肯定是越大越好,即经过划分后的信息熵越小越好。
比较广泛应用的方法有ID3决策树(信息增益来衡量纯度)、C4.5决策树(增益率代替信息增益)、CART决策树(基尼指数来衡量纯度)。