决策树留一法python代码_西瓜书 第4章 决策树 读书笔记

第4章 决策树(decision tree)亦称“判定树”

1.基本流程

1.1决策树的组成

一个根节点：包含样本全集

若干个内部节点：对应于一个属性测试

若干个叶节点：对应于决策结果

1.2 决策树的目的

为了产生一棵泛化能力强，即处理未见视例能力强的决策树

1.3遵循的策略

分而治之(divide-and-conquer)

1.4 决策树学习基本算法

2.划分选择

2.1 结点的纯度(purity)

结点所包含的样本尽可能属于同一类别

2.2 划分指标

2.2.1 信息增益(information gain)

信息熵(information entropy)

Ent(D)的值越小，则D的纯度越高

信息增益