基于决策树的蘑菇分类模型

决策树是一种常用的机器学习算法，主要用于分类和回归任务。它是一种树形结构，其中每个内部节点代表一个特征，每个分支代表一个特征值，每个叶节点代表一个类别标签。

决策树的工作原理是通过一系列规则对数据进行分割，这些规则是基于特征的条件来制定的。从根节点开始，根据特征的某个值来选择一个分支，然后继续这个过程，直到达到叶节点，得到最终的分类结果。

决策树的主要优点是易于理解和解释，可以处理不同类型的特征（数值型和类别型），且不需要进行特征缩放或归一化。但是，决策树容易过拟合，且在处理回归任务时可能不如其他算法准确。

在构建决策树时，通常会使用一些准则来选择最优的特征和分割点，例如信息增益、基尼不纯度或最小化平方误差等。通过这些准则，可以找到一个最优的分割点，使得数据的纯度最高或误差最小。

决策树也有一些改进的算法，如随机森林、梯度提升树和自适应提升等。这些算法通过集成多个决策树来提高模型的准确性和鲁棒性。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
import sklearn.metrics as sm
from sklearn.metrics import confusion_matrix
import seaborn as sns
from sklearn import preprocessing
df=pd.read_csv('5-mushrooms.csv',encoding = "utf-8",header = 0)
pd.options.display.max_columns = None
print(np.any(df.isnull()))
df.head(n=5)
X = df.drop(['class'], axis = 1)
Y = df['class']
X = pd.get_dummies(X, prefix_sep='_')
x = df.drop(['class'], axis = 1)
y = df['class']
x = pd.get_dummies(x, prefix_sep='_')
y = preprocessing.LabelEncoder().fit_transform(y)
x = preprocessing.StandardScaler().fit_transform(x)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size = 0.7, random_state = 2022)
print(y)
from sklearn import tree
test = []
for i in range(10):
    clf = tree.DecisionTreeClassifier(max_depth=i+1
                                      ,criterion="entropy"
                                      ,random_state=30
                                      ,splitter="random"
                                     )
    clf = clf.fit(x_train, y_train)
    score = clf.score(x_test, y_test)
    test.append(score)
plt.plot(range(1,11),test,color="red",label="max_depth")
plt.legend()
plt.show()
from sklearn.tree import DecisionTreeClassifier
trainedtree = DecisionTreeClassifier(max_depth=5).fit(x_train, y_train)
y_pre=trainedtree.predict(x_test)
y_pre=np.array(y_pre)
yTest = np.array(y_test)
j=0
for i in range(len(yTest)):
    if yTest[i]==y_pre[i]:
        j=j+1
print(j/len(y_test))
acc_score = trainedtree.score(x_test,y_test)
cm = confusion_matrix(y_test,y_pre)
sns.heatmap(cm,cmap="YlGnBu_r",fmt="d",annot=True)
import graphviz
dot_data = tree.export_graphviz(trainedtree, out_file=None) # 导出决策树
graph = graphviz.Source(dot_data) # 创建图形
graph