CART决策树的sklearn实现及其GraphViz可视化

这一部分,我使用了sklearn来调用决策树模型对葡萄酒数据进行分类。在此之外,使用Python调用AT&T实验室开源的画图工具GraphViz软件以实现决策树的可视化。

from sklearn.datasets import load_iris
from sklearn import tree
from sklearn.externals.six import StringIO
import pydot
dot_data = StringIO()
iris = load_iris()
clf = tree.DecisionTreeClassifier()
clf = clf.fit(iris.data, iris.target)
tree.export_graphviz(clf, out_file=dot_data)
graph = pydot.graph_from_dot_data(dot_data.getvalue())
graph.write_pdf("iris.pdf")

这是一段基本的利用pydot+GraphViz实现决策树可视化的代码。由于缺少pydot库,直接无法执行,我们在命令行中pip install pydot后再执行,发现报错:

AttributeError: ‘list’ object has no attribute ‘write_pdf’

在StackOverflow中搜索此问题,发现我们要将pydot改为pydotplus,好吧,现在连库都升plus了,继续pip install pydotplus,执行,发现继续报错:

InvocationException:GraphViz’s executables not found

这意味着我们还缺一个GraphViz软件,关于其安装,我整理了一份靠谱攻略:GraphViz配置指南。配置完成后,重启IDE,得以顺利执行代码。下面,我写了一段利用sklearn对葡萄酒数据集进行分类、利用pydotplus+GraphViz进行决策树可视化的代码,可供测试,数据见葡萄酒数据集

Python源码

# !/usr/bin/env python3
# coding=utf-8
"""
Decision Tree on the Basis of sklearn module
Author  :Chai Zheng
Blog    :http://blog.csdn.net/chai_zheng/
Github  :https://github.com/Chai-Zheng/Machine-Learning
Email   :zchaizju@gmail.com
Date    :2017.10.13
"""

import os
import time
import pydotplus
import numpy as np
from sklearn import tree
from sklearn.externals.six import StringIO
from sklearn.model_selection import train_test_split

print('Step 1.Loading data...')
data = np.loadtxt("Wine.txt",delimiter=',')
x = data[:,1:14]
y = data[:,0].reshape(178,1)
X_train,X_test,Y_train,Y_test = train_test_split(x,y,test_size=0.4)
print('---Loading and splitting completed.')

print('Step 2.Training...')
startTime = time.time()
clf = tree.DecisionTreeClassifier()
clf = clf.fit(X_train,Y_train)
print('---Training Completed.Took %f s.'%(time.time()-startTime))

print('Step 3.Testing...')
Y_predict = clf.predict(X_test)
matchCount = 0
for i in range(len(Y_predict)):
    if Y_predict[i] == Y_test[i]:
        matchCount += 1
accuracy = float(matchCount/len(Y_predict))
print('---Testing completed.Accuracy: %.3f%%'%(accuracy*100))

feature_name = ['Alcohol','Malic Acid','Ash','Alcalinity of Ash','Magnesium','Total Phenols',
                'Flavanoids','Nonflavanoid Phenols','Proantocyanins','Color Intensity','Hue',
                'OD280/OD315 of Diluted Wines','Proline']
target_name = ['Class1','Class2','Class3']

dot_data = StringIO()
tree.export_graphviz(clf,out_file = dot_data,feature_names=feature_name,
                     class_names=target_name,filled=True,rounded=True,
                     special_characters=True)
graph = pydotplus.graph_from_dot_data(dot_data.getvalue())
graph.write_pdf("WineTree.pdf")
print('Visible tree plot saved as pdf.')

自动生成的可视化决策树被保存在当前目录下的“WineTree.pdf”文件中,如下所示:


4

是不是第一次看到这么清晰明了的分类模型?可以看到,我们使用GINI指数来选择最优划分属性,并且经剪枝后的决策树只用到了数据13个属性中的Flavanoids、Color Insenty、Proline这三个属性,可以说是非常简洁了。在测试集中进行测试,结果如下:


5

由于数据拆分的随机性,测试准确率大概在85%-95%之间,不算太高。但胜在模型直观、可解释性强,并且运算速度非常快。

发布了13 篇原创文章 · 获赞 25 · 访问量 4万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览