机器学习算法之----Decision Tree Classification

Decision Tree Classification

决策树以树结构的形式构建分类或回归模型。它将数据集分解为越来越小的子集，同时逐步开发相关的决策树。最终结果是具有决策节点和叶节点的树。决策节点（例如，Outlook）具有两个或更多个分支（例如，Sunny，Overcast和Rainy）。叶节点（例如，Play）表示分类或决定。树中最顶层的决策节点，对应于称为根节点的最佳预测器。决策树可以处理分类和数字数据。
- Algorithm
构建决策树的核心算法由J. R. Quinlan编写，称为ID3，它采用自上而下的贪婪搜索，通过可能的分支空间进行无回溯。 ID3使用熵和信息增益来构造决策树。在ZeroR模型中没有预测器，在OneR模型中我们尝试找到单个最佳预测器，朴素贝叶斯包括使用贝叶斯规则的所有预测器和预测器之间的独立假设，但决策树包括具有预测器之间的依赖性假设的所有预测器。

• Entropy
  决策树是从根节点自上而下构建的，涉及将数据分区为包含具有相似值（同质）的实例的子集。 ID3算法使用熵来计算样本的同质性。如果样本是完全均匀的，则熵为零，如果样本是等分的，则其熵为1。