决策树(Decision Tree)是一个非参数的监督式学习方法,决策树又称为判定树,是运用于分类的一种树结构,其中的每个内部节点代表对某一属性的一次测试,每条边代表一个测试结果,叶节点代表某个类或类的分布。
下面就使用决策树对人体身高体重数据进行分类。
这个数据一共有10个样本,每个样本有2个属性,分别为身高和体重,第三列为类别标签,表示“胖”或“瘦”。该数据保存在1.txt中,如下所示:
我们的任务就是训练一个决策树分类器,输入身高和体重,分类器能给出这个人是胖子还是瘦子。
分析:首先这次的训练数据是在一个文本文件中,因此需要把该数据集读入,特征和类标签存放在不同变量中。此外,由于类标签是文本,需要转换为数字。其它的过程和前面的例题完全类似,下面就看一下过程。
本例需要使用下面第三方库:
import numpy as np
import scipy as sp
from sklearn import tree
from sklearn.metrics import precision_recall_curve
from sklearn.metrics import classification_report
from sklearn.model_selection import train_test_split
下面这段代码是从文本文件中读入数据:
data = []
labels = []
with open("1.txt") as ifile:
for line in ifile:
tokens = line.strip().split(' ')
data.append([float(tk) for tk in tokens[:-1]])
labels.append(tokens[-1])
x = np.array(data)
labels = np.array(labels)
y = np.zeros(labels.shape)
可以看出,程序每次从文本中读取一行,然后使用空格作为分割,将数据当道data矩阵中,然后分别将特征和类标签放到labels和y中。
由于类标签是文本,需要转换为数字,可以使用下面代码进行转换:
y[labels=='fat']=1
然后将数据随机拆分,训练数据占80%的比例,测试数据占20%的比例:
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size = 0.2,random_state=0)
下面就可以使用DecisionTreeClassifier建立模型,并进行训练了,如下所示:
clf = tree.DecisionTreeClassifier(criterion='entropy')
clf.fit(x_train, y_train)
测试结果可以使用下面代码实现:
answer = clf.predict(x_train)
print(x_train)
print(answer)
print(y_train)
print(np.mean( answer == y_train))
可以使用下面代码测试不同特征对分类的影响权重
print(clf.feature_importances_)
程序运行结果如下所示:
同样,可以将决策树模型输出到模型文件中,代码如下:
with open("tree.dot", 'w') as f:
f = tree.export_graphviz(clf, out_file=f)
切换到命令行状态下,输入以下命令:
dot -Tpdf tree.dot -o tree.pdf
然后在当前目录下找到tree.pdf
文件,打开该文件,即可看到这个决策树,如下所示:
留言回复你在机器学习方面做过哪些有趣的应用,我们会在留言中随机抽取一位读者免费送出北京大学出版社出版的《Python 3 数据分析与机器学习实战》图书一本。
为你的Python程序加密
用Python开发计时器程序
硬核 | 用Python给女朋友送一颗彩蛋
用Pandas库实现MySQL数据库的读写
本文部分观点摘自北京大学出版社出版的《Python 3 数据分析与机器学习实战》,点击阅读原文了解详情!