第5节--决策树算法

0、机器学习中算法的评价

• 准确率
• 速度
• 强壮性
• 可规模性
• 可解释性

1、什么是决策树（decision tree）

决策树是一个类似于流程图的树结构：其中，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布。树的最顶层是根结点。

2、它是机器学习中分类方法中一个重要的算法

3、构造决策树的基本算法

例子：“什么样的人买电脑”

下图为数据集：

下图为依据数据集建立的决策树：

4、熵（entropy）

1948年，香农提出了 ”信息熵(entropy)“的概念。

一条信息的信息量大小和它的不确定性有直接的关系。

要搞清楚一件非常非常不确定的事情，或是我们一无所知的事情&