决策树-线性二分类+非线性二分类

线性二分类

import matplotlib.pyplot as plt
import numpy as np
from sklearn.metrics import classification_report
from sklearn import tree

#载入数据
data = np.genfromtxt('.csv',delimiter=',')
x_data = data[:,:-1]
y_data = data[:,-1]

plt.scatter(x_data[:,0],x_data[:,-1],c=y_data)
plt.show()

#创建决策树模型
model = tree.DecisionTreeClassifier()
model.fit(x_data,y_data)

#导出决策树
import graphviz

dot_data = tree.export_graphviz(model,
                                out_file=None,
                                #特征的名字，要设置
                                feature_names = ['x','y'],
                                class_names=['label0','label1'],
                                filled=True,
                                rounded=True,
                                special_characters=True)
graph = graphviz.Source(dot_data)
graph.render('cart_1')

#获取数据值所在范围
x_min,x_max = x_data[:,0].min() - 1,x_data[:,0].max() + 1
y_min,y_max = x_data[:,1].min() - 1,x_data[:,1].max() + 1

#生成网格矩阵
xx,yy = np.meshgrid(np.arange(x_min,x_max,0.02),
                    np.arange(y_min,y_max,0.02))
z = model.predict(np.c_[xx.ravel(),yy.ravel()])
#扁平化，得到一个一个的点
#ravel和flatten类似，多维数据转一维，flatten不会改变原始数据，而ravel会
z = z.reshape(xx.shape)
#等高线图
#在这里，只有两个高度，0和1
cs = plt.contourf(xx,yy,z)
#样本散点图
plt.scatter(x_data[:,0],x_data[:,1],c=y_data)
plt.show()

predictions = model.predict(x_data)
#查看分类的结果和正确率等等。
print(classification_report(predictions,y_data))

等高线图：

import matplotlib.pyplot as plt
import numpy as np
from sklearn.metrics import classification_report
from sklearn import tree
from sklearn.model_selection import train_test_split

#载入数据
data = np.genfromtxt('test2.csv',delimiter=',')
x_data = data[:,:-1]
y_data = data[:,-1]

plt.scatter(x_data[:,0],x_data[:,-1],c=y_data)
plt.show()

#分割数据
x_train,x_test,y_train,y_test = train_test_split(x_data,y_data)

#创建决策树模型
model = tree.DecisionTreeClassifier()
model.fit(x_data,y_data)

#导出决策树
import graphviz

dot_data = tree.export_graphviz(model,
                                out_file=None,
                                #特征的名字，要设置
                                feature_names = ['x','y'],
                                class_names=['label0','label1'],
                                filled=True,
                                rounded=True,
                                special_characters=True)
graph = graphviz.Source(dot_data)
graph.render('cart_1')

#获取数据值所在范围
x_min,x_max = x_data[:,0].min() - 1,x_data[:,0].max() + 1
y_min,y_max = x_data[:,1].min() - 1,x_data[:,1].max() + 1

#生成网格矩阵
xx,yy = np.meshgrid(np.arange(x_min,x_max,0.02),
                    np.arange(y_min,y_max,0.02))
z = model.predict(np.c_[xx.ravel(),yy.ravel()])
#扁平化，得到一个一个的点
#ravel和flatten类似，多维数据转一维，flatten不会改变原始数据，而ravel会
z = z.reshape(xx.shape)
#等高线图
#在这里，只有两个高度，0和1
cs = plt.contourf(xx,yy,z)
#样本散点图
plt.scatter(x_data[:,0],x_data[:,1],c=y_data)
plt.show()

predictions = model.predict(x_train)
#查看分类的结果和正确率等等。
print(classification_report(predictions,y_train))

predictions = model.predict(x_test)
print(classification_report(predictions,y_test))

画出的决策树非常的复杂，过拟合，最后所得结果正确率并不高。
所以我们对它进行剪枝。

剪枝代码：

#创建决策树模型
#max_depth,树的深度
#min_samples_split内部节点再划分所需的最小样本数,比如到了这个节点后发现样本数只有四，则不再往下分割了
model = tree.DecisionTreeClassifier(max_depth=4,min_samples_split=4)
model.fit(x_data,y_data)