决策树是如何使用的

决策树是如何工作的

能够从一系列有特征和标签中总结出决策规则，并用树状图结构来呈现出来。

关键概念：节点（根节点，中间节点，叶子节点，子节点，父节点）

核心问题：如何从数据表中找出最佳节点和最佳分支？如何让决策树停止生长，防止过拟合？

 sklearn：1.实例化建立评估模型对象

                2.通过模型接口训练模型

                3.通过模型接口提取需要信息

from sklearn import tree
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
import pandas as pd
import graphviz

feature_name = ['酒精','苹果酸','灰','灰的碱性','镁','总酚','类黄酮','非黄烷类酚类','花青素','颜色强度','色调','稀释葡萄酒','脯氨酸']
wine = load_wine()   # 数据实例化
print(pd.concat([pd.DataFrame(wine.data),pd.DataFrame(wine.target)],axis=1))

print(wine.feature_names)
print(wine.target_names)

 

Xtrain,Xtest,Ytrain,Ytest = train_test_split(wine.data,wine.target,test_size=0.3)    # 随即划分，30%测试集，70%训练集
clf = tree.DecisionTreeClassifier(criterion='entropy',random_state=30,splitter='random')
# criterion 规定不纯度的计算
# random_state 相当于设置一个随机种子，每次的训练数据和测试数据不变
# splitter 之后看预测的得分有没有提高，保留百分比高的
clf = clf.fit(Xtrain,Ytrain)      # fit训练接口
score = clf.score(Xtest,Ytest)    # 返回预测的准确度
print(score)
dot_data = tree.export_graphviz(clf,feature_names=feature_name,class_names=['伏特加','哈啤','天涯'],filled=True,rounded=True)
# filled 是否填充颜色 rounded 方框是否为弧形
graph = graphviz.Source(dot_data)
graph

 

print(clf.feature_importances_)      # 特征对决策树产生的贡献程度
print([*zip(feature_name,clf.feature_importances_)])     # 把特征和贡献程度对应上
score_train = clf.score(Xtrain,Ytrain)
print(score_train)  # 如果训练数据得分远远大于测试数据得分，过拟合

剪枝策略 

clf = tree.DecisionTreeClassifier(criterion='entropy',random_state=30,splitter='random'
                                  ,max_depth=3,min_samples_leaf=10,min_samples_split=10)

max_depth  最深决策树层数为3

min_samples_leaf  最小样本数为10   

min_samples_split   样本数小于10不允许在划分

max_features  限制最大只能使用的特征

min_impurity_decrease 对决策树的贡献小于多少就不自在分支

class_weight 

min_weight_fraction_leaf

如何确认最优剪枝参数?

import matplotlib.pyplot as plt
test = []
for i in range(10):
    clf = tree.DecisionTreeClassifier(criterion='entropy', random_state=30, splitter='random'
                                      , max_depth=i+1)
    clf = clf.fit(Xtrain,Ytrain)
    score = clf.score(Xtest,Ytest)
    test.append(score)
plt.plot(range(1,11),test,color='red',label='max_depth')
plt.legend()
plt.show()

 

说明3层最好

接口：fit score

apply（返回每个测试样本所在的叶子节点的索引）clf.apply(Xtest)

predict（返回每个测试样本的分类/回归结果）        clf.predict(Xtest)