决策树原理详解与实战解析

作者：禅与计算机程序设计艺术

1.简介

1. 决策树（decision tree）是一种基本的分类和回归方法，它由一个节点或根节点、跟随着其他节点或者叶子节点的分支组成，每个节点表示一个条件，根据不同的条件将输入向量划分到不同的叶子结点中。
2. 在数据挖掘和机器学习领域，决策树是一种重要的算法工具，可以用于分类、预测和异常检测。它的构造过程非常灵活，能够适应各种各样的数据集。在数据集较小、特征维度低、噪声较少的情况下，决策树很容易形成，并且效果也不错。但当数据集复杂、特征维度高、噪声很重时，决策树的构造就变得困难了。

2.基本概念术语说明

2.1 概念

• 决策树是一种基本的分类和回归方法。
• 每个决策树模型由多个节点（node）和连接着的边（edge）构成。
• 每个内部节点表示一个属性或者特征，每条边代表一个属性的取值。
• 从根节点到叶子节点的数据记录都属于同一个类别，具有相同的输出值。
  下面是一个简单决策树示意图:

____________________X[i]<=a____________________
|                                               |
|                   Yes                        No|
y=0   |                                               |
----->+------>Yes                                     +-------&