机器学习实战（6）——决策树

目录

1 决策树训练和可视化

2 做出预测

3 估算类别概率

4 CART训练算法

5 正则化超参数

6 回归

7 不稳定性

---

1 决策树训练和可视化

下面简单看一下例子：

常规模块的导入以及图像可视化的设置：

# Common imports
import numpy as np
import os

# to make this notebook's output stable across runs
np.random.seed(42)

# To plot pretty figures
%matplotlib inline
import matplotlib as mpl
import matplotlib.pyplot as plt
mpl.rc('axes', labelsize=14)
mpl.rc('xtick', labelsize=12)
mpl.rc('ytick', labelsize=12)

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier,export_graphviz

iris = load_iris()
X = iris.data[:, 2:] # petal length and width
y = iris.target

tree_clf = DecisionTreeClassifier(max_depth=2, random_state=42)
tree_clf.fit(X, y)

#可视化决策树
#网站显示结构：http://webgraphviz.com/
#http://dreampuf.github.io/GraphvizOnline/将dot文件内容复制该网站即可，等待一会出图
export_graphviz(tree_clf,out_file="iris1_tree.dot")

默认路径下打开iris1_tree.dot文件：

digraph Tree {
node [shape=box, fontname="helvetica"] ;
edge [fontname="helvetica"] ;
0 [label="X[0] <= 2.45\ngini = 0.667\nsamples = 150\nvalue = [50, 50, 50]"] ;
1 [label="gini = 0.0\nsamples = 50\nvalue = [50, 0, 0]"] ;
0 -> 1 [labeldistance=2.5, labelangle=45, headlabel="True"] ;
2 [label="X[1] <= 1.75\ngini = 0.5\nsamples = 100\nvalue = [0, 50, 50]"] ;
0 -> 2 [labeldistance=2.5, labelangle=-45, headlabel="False"] ;
3 [label="gini = 0.168\nsamples = 54\nvalue = [0, 49, 5]"] ;
2 -> 3 ;
4 [label="gini = 0.043\nsamples = 46\nvalue = [0, 1, 45]"] ;
2 -> 4 ;
}

具体可视化步骤已在本篇博文中讲述：

机器学习（18）——分类算法（补充）_WHJ226的博客-CSDN博客

简单步骤如下：首先打开该网站Graphviz Online ，最后将dot文件内容复制粘贴左侧代码区即可。

效果如下：（另外pycharm中的插件也可以实现决策树可视化，不过目前上述方法还没出现问题就未曾探索）

决策树可视化

2 做出预测

假设我们找到了一朵鸢尾花，想要归类，那么从根节点（深度0，顶部）开始：这朵花的花瓣长度是否小于2.45CM？如果是，则向下移动到根的左侧子节点（深度1，左） 。在上面的例子中，这是一个叶节点（即没有任何子节点），所以不在继续，直接查看预测类别。

我们找到的另一朵鸢尾花，花瓣长度大于2.45厘米。这次我们需要移动到根节点的右侧子节点（深度1，右），由于该节点不是叶节点，所以它提出另一个问题：花瓣宽度是否小于1.75CM? 然后再做出预测。

节点的samples属性统计它应用的训练实例数量。例如，有100个训练实例的花瓣长度大于2.45cm（深度1，右），其中54个花瓣宽度小于1.75cm（深度2，左）。节点的value属性说明了该节点上每个类别的训练实例数量：例如，右下节点应用在0个Setoca鸢尾花、1个Versicolor鸢尾花和45个Virginica鸢尾花实例上。节点的gini属性衡量其不纯度：如果应用的所有训练实例都属于同一个类别，那么节点就是“纯”的（gini=0）.例如，深度1左侧节点仅应用于Setoca鸢尾花训练实例，所以它就是纯的，并且gini=0。下面的基尼不纯度公式将说明第i个节点的基尼系数  的计算方式。