决策树基础知识与理论

决策树主要用来集成学习里，多棵决策树构成森林模型，像随机森林，在功率预测的数据处理中用的比较多。决策树可解决分类问题，也可解决回归问题。决策树的关键在于找到某种准则对数据特征进行划分，使得数据划分后的纯度较高。

现有用的比较多的衡量样本纯度的方法是信息熵，信息熵是用来描述随笔变量不确定的一个度量，信息熵越小，则说明样本的纯度越高。

在进行数据特征划分时，一般用信息增益，即原始样本的信息熵，经过划分后形成的信息增益来区分哪一种划分方式更优。那么信息增益肯定是越大越好，即经过划分后的信息熵越小越好。

比较广泛应用的方法有ID3决策树（信息增益来衡量纯度）、C4.5决策树（增益率代替信息增益）、CART决策树（基尼指数来衡量纯度）。