决策树（Decision Tree)

1. 什么是决策树/判定树

决策树是一个类似于流程图的树型结构，其中，每个内部节点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶节点代表类或类分布，树的最顶层是根节点。
举个例子：

比如说我们有一堆客户的信息，比如年龄，信用程度等等，我们的决策树要做的就是，根据不断的细化，来判断一个客户到底会不会买我们的电脑。（具体的可以看上面的图）

信息熵:

信息和抽象，如何度量？

一条信息的信息量大小和他的不确定性有直接的关系。

变量的不确定性越大，熵就越大。

决策树归纳算法(ID3)：

选择属性判断节点（即为什么要先使用这个节点来进行分）

还是以上面买电脑的栗子：通过上面的图表我们可以发现，买电脑的人数是9个，不买电脑的人数是5个，由此我们可以计算信息获取量：