decision tree Learning 决策树学习笔记
一、概念和基本流程
决策树是一种树形结构,其中每个内部节点表示一个属性上的测试,每个分支代表一个测试输出,每个叶节点代表一种类别。决策树是一种监管学习方法,虽然简单,但是比较高效。目前比较常用和成功的算法有ID3和C4.5,本文也在后面将介绍。
决策树的决策过程如下图所示:
结构呈树形结构,一般的,一颗决策树包含有一个根节点,若干个内部节点和若干个叶子节点。叶子节点对应的是决策的结果,即类别(如图中的yes和no两个类别);其他的节点对应的是一个属性上的测试(如根节点是outlook属性,该属性分别有sunny、overcast、rain三个属性值)。