决策树（Decision Tree）学习小结

决策树

策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。（概念摘自百度百科）

特征选择

在这里先引入信息熵和信息增益的定义

信息熵（information entropy）

在信息论与概率论中，熵(entropy)用于表示随机变量不确定性的度量，越不确定的事物，它的熵就越大。因此信息熵是度量样本集合纯度最常用的一种指标。
假定当前集合$D$中第k类样本所占的比例为$p_i(i=1,2,3,...)$,则D的信息熵定义为

H(D)=−∑k=1npil