机器学习笔记之信息熵、信息增益和决策树(ID3算法)

决策树算法：

优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关的特征数据。

缺点：可能会产生过度匹配问题。

适用数据类型：数值型和标称型。

算法原理：

决策树是一个简单的为输入值选择标签的流程图。这个流程图由检查特征值的决策节点和分配标签的子叶节点组成。为输入值选择标签，我们以流程图的初始决策节点(即根节点)开始。此节点包含一个条件，检查输入值的特征之一，基于该特征的值选择一个分支。沿着这个描述我们输入值的分支，我们到到了一个新的决策节点，有一个关于输入值的特征的新条件。我们继续沿着每个节点的条件选择的分支，直到到达叶节点，它为输入值提供了一个标签。

算法流程：

收集数据：即建立训练测试数据集。

准备数据：决策树构造算法只适用于标称型数据，因此数值型数据必须是离散化的。

分析数据：建立构造数，构造树完成后我们检查图形是否符合预期。

训练数据：完善构造树的数据结构。

测试数据：使用经验树计算。

使用算法：对实际数据进行预测。

那么问题来了我们是如何确定有多少个树杈节点呢？这里我们采用ID3算法来构造决策树。