决策树算法_基本思想

核心思想：数据集划分，确定划分条件，得出一类一类的数据子集。
决策树学习的本质是从训练数据集上归纳出一组分类规则，通常采用启发式的方法，即局部最优。通常分为三个步骤：特征选择、决策树生成和决策树的修剪。

特征选择

• 特征的选择是要使经过划分后，不同分类的数据尽量分开。
• 划分后的分区数据越纯，当前的分裂规则就越合适。
  衡量一个节点内的数据纯度有三种：
  熵、基尼和方差。前两种是针对分类，方差是针对回归。

熵:
1)信息量
信息量由事件发生的概率所决定的。经常发生的事情没有什么信息量，只有小概率的事情才有信息量。

2）信息熵
其实就是期望

3）信息增益
4）信息增益比