决策树是简单易学且具有良好解释性的模型,但实话说,我在工作中用的不多,通常会选择更加复杂一些的模型,如随机森林、XGBoots之类的模型,但要理解这些模型,对决策树的学习是必不可少的,所以本文就基于sklearn(Scikit Learn)来讨论一下决策树相关的内容。
决策树基本使用与可视化
为了方便,我们直接使用sklearn提供的鸢尾花数据集来展示决策树的使用。
首先,导入鸢尾花数据集:
from sklearn.datasets import load_iris
iris = load_iris()
如果第一次使用,sklearn会自动帮我们下载,你需要等待一下则可。
获得鸢尾花数据集后,我们使用数据集中花瓣的长度和宽度作为特征,将花瓣的种类作为target,然后使用sklearn的DecisionTreeClassifier构建分类决策树,该决策树会基于特征,对花瓣的种类进行分类,代码如下:
from sklearn.tree import DecisionTreeClassifier
X = iris.data[:, 2:] # 花瓣的长与宽
y = iris.target # 花的种类
# 分类决策树,max_depth=2表示决策树最大高度为2
tree_clf = DecisionTreeClassifier(max_depth=2)
tree_clf.fit(X, y)
构建完后,可以通过sklearn提供的plot_tree方法可视化决策树:
from sklearn import tree
tree.plot_tree(tree_clf)
图1
如果觉得sklearn的plot_tree方法绘制出的决策树不太美观,可以甩graphviz进行绘制,graphviz是一个绘图软件,需要先自行安装,在MacOS下,安装简单:
brew install graphviz
pip install graphviz
安装完后,变可以进行决策树的绘制了:
from graphviz import Source
from sklearn.tree import export_graphviz
export_graphviz(
tree_clf,
out_file=os.path.join(IMAGES_PATH, "iris_tree.dot"),
feature_names=iris.feature_names[2:], # 特征
class_names=iris.target_names, # 分类
rounded=True, # 圆角
filled=True, # 颜色填充
)
Source.from_file(os.path.join(IMAGES_PATH, "iris_tree.dot"))
效果如图:
图2
怎么使用这棵决策树?
假设你手里有一朵刚摘的鸢尾花,要对其进行分类,你会从决策树的根节点开始(深度为0),判断该花的花瓣宽度是否小于0.8cm,如果小于,那么就来到根的左子节点(图中橙色节点,深度为1),该节点是叶子节点(没有其他子节点),叶子节点的class值便是当前这棵决策树对当前这朵花的预测,它认为这朵花的种类是setosa。
假设你还有另外一朵花,发现它的花瓣宽度大于0.8cm,那么你还需要继续判断花瓣宽度是否小于等于1.75cm,如果小于,那么就来的图中绿色的叶子节点,此时,决策树预测这朵花的种类是versicolor。
纯度
先不纠结决策树的细节,来思考一个关键问题:决策树是基于什么来做决策的?,比如图2中的根节点,分裂成了2个子节点,左边的子节点,不再分裂,而右边的子节点继续分裂,这里的分裂的依据是什么?
这就涉及到纯度的概念,对于分类决策树而言,通常会使用基尼系数或熵来判断某个节点的纯度,而对于回归决策树而言,通常会使用均方误差(MSE)来判断某节点纯度。