决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。
决策树是一种树形结构,其中每个内部节点表示一个属性上的测试,每个分支代表一个测试输出,每个叶节点代表一种类别。
今天是第一个内容:
特征选择:
首先提出熵的概念:熵是表示随机变量不确定性的度量。
计算方法:
X:表示当前的数据集合。
x:表示当前数据集合中的第k类,也就是我们目标变量的类型。
熵越大,证明越不稳定。
我们用信息熵来衡量一个分支的纯度,那哪个特征是最优的特征呢?在决策树学习中应用信息增益准则来选择最优特征。信息增益定义如下:
对训练集D