决策树
策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。(概念摘自百度百科)
特征选择
在这里先引入信息熵和信息增益的定义
信息熵(information entropy)
在信息论与概率论中,熵(entropy)用于表示随机变量不确定性的度量,越不确定的事物,它的熵就越大。因此信息熵是度量样本集合纯度最常用的一种指标。
假定当前集合 D D 中第k类样本所占的比例为
,则D的信息熵定义为
H(D)=−∑k=1npil