'''决策树是一种在分类和回归中都广泛应用的算法,它的原理是通过对一系列问题进行if/else进行推导,最终实现决策'''
'''决策树最大的优势就是可以轻易的将模型可视化,而且决策树算法对每个样本的特征进行单独处理,因此不需要对数据进行转换'''
def j1():
import numpy as np
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap
#导入树的模型和数据加载工具
from sklearn import tree,datasets
#导入数据集拆分工具
from sklearn.model_selection import train_test_split
wine=datasets.load_wine()
#只选取数据集的前两个特征
x=wine.data[:,:2]
y=wine.target
#将数据集拆分为训练集和测试集
x_train,x_test,y_train,y_test=train_test_split(x,y)
lc=tree.DecisionTreeClassifier(max_depth=1)#决策树的深度,就是我们所体温的问题
lc.fit(x_train,y_train)
#自己定义图像中的分区的颜色和散点的颜色
camp_light=ListedColormap(['#FFAAAA','#AAFFAA','#AAAAFF'])
camp=ListedColormap(['#FF0000','#00FF00','#0000FF'])
#分别用样本的两个特征值去创建图像的横轴和纵轴
x_min, x_max = x_train[:, 0].min() - 1, x_train[:, 0].max() + 1
y_min, y_max = x_train[:, 1].min() - 1, x_train[:, 1].max() + 1
xx,yy=np.meshgrid(np.arange(x_min,x_max,.02),np.arange(y_min,y_max,.02))
z=lc.predict(np.c_[xx.ravel(),yy.ravel()])
#给每个分类样本分配不一样的颜色
z=z.reshape(xx.shape)
plt.figure()
plt.pcolormesh(xx,yy,z,cmap=camp_light)
#用散点把样本表示出来
plt.scatter(x[:,0],x[:,1],c=y,cmap=camp,edgecolors='k',s=20)
plt.xlim()
plt.ylim()
plt.title('Classifier:(max_depth=1)')#深度为1
plt.show()
'''改变深度值为3试试新的分类效果'''
lc3 = tree.DecisionTreeClassifier(max_depth=3) # 决策树的深度,就是我们所体温的问题
lc3.fit(x_train, y_train)
# 自己定义图像中的分区的颜色和散点的颜色
cmap_light = ListedColormap(['#FFAAAA', '#AAFFAA', '#AAAAFF'])
cmap = ListedColormap(['#FF0000', '#00FF00', '#0000FF'])
# 分别用样本的两个特征值去创建图像的横轴和纵轴
x_min, x_max = x_train[:, 0].min() - 1, x_train[:, 0].max() + 1
y_min, y_max = x_train[:, 1].min() - 1, x_train[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, .02), np.arange(y_min, y_max, .02))
z = lc3.predict(np.c_[xx.ravel(), yy.ravel()])
# 给每个分类样本分配不一样的颜色
z = z.reshape(xx.shape)
plt.figure()
plt.pcolormesh(xx, yy, z, cmap=cmap_light)
# 用散点把样本表示出来
plt.scatter(x[:, 0], x[:, 1], c=y, cmap=cmap, edgecolors='k', s=20)
plt.xlim()
plt.ylim()
plt.title('Classifier:(max_depth=3)') # 深度为1
plt.show()
'''改变深度值为5试试新的分类效果'''
lc5 = tree.DecisionTreeClassifier(max_depth=5) # 决策树的深度,就是我们所体温的问题
lc5.fit(x_train, y_train)
# 自己定义图像中的分区的颜色和散点的颜色
cmap_light = ListedColormap(['#FFAAAA', '#AAFFAA', '#AAAAFF'])
cmap = ListedColormap(['#FF0000', '#00FF00', '#0000FF'])
# 分别用样本的两个特征值去创建图像的横轴和纵轴
x_min, x_max = x_train[:, 0].min() - 1, x_train[:, 0].max() + 1
y_min, y_max = x_train[:, 1].min() - 1, x_train[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, .02), np.arange(y_min, y_max, .02))
z = lc5.predict(np.c_[xx.ravel(), yy.ravel()])
# 给每个分类样本分配不一样的颜色
z = z.reshape(xx.shape)
plt.figure()
plt.pcolormesh(xx, yy, z, cmap=cmap_light)
# 用散点把样本表示出来
plt.scatter(x[:, 0], x[:, 1], c=y, cmap=cmap, edgecolors='k', s=20)
plt.xlim()
plt.ylim()
plt.title('Classifier:(max_depth=5)') # 深度为1
plt.show()
'''为了更清晰的看到决策树是如何工作的,我们来展示'''
import graphviz
#导入决策树中输出graphviz的接口
from sklearn.tree import export_graphviz
export_graphviz(lc5,out_file='wine.dot',class_names=wine.target_names,feature_names=wine.feature_names[:2],impurity=False,filled=True)
#打开文件,需要安装插件
with open('wine.dot') as file:
ggg=file.read()
graphviz.Source(ggg)
j1()
可视化结果如下: