用Python实现一个决策树分类器

本文将会介绍如何用Python实现一个决策树分类器。主要包含下面两个方面：

• 什么是决策树？
• 使用Python实现决策树

什么是决策树

简单来说，决策树算法把数据按照树的结构分成了一系列决策节点。每一个决策节点都是一个问题，然后可以根据这个问题把数据分成两个或多个子节点。这个数一直往下创建，知道最终所有的数据都属于一个类。创建一个最佳决策的标准就是信息增益。下图就是一个简单的决策树示意图：

 

使用决策树分类器来train机器学习model就是找到决策树的边界。

通过把feature空间分成多个长方形，决策树可以创建很多复杂的决策边界。下面就是我们使用决策树分类器来训练Sklearn IRIS数据的决策边界示意图。feature空间分别由petal length和petal width组成，后面我们会给出详细的代码：