基本概念
决策树构建
构建决策树,划分属性的选择顺序是最重要的。
信息熵就是一种衡量样本集合“纯度”的指标,如果一个特征包含的信息越确定,则其纯度越高。信息熵越大,不确定性越大,该特征表达的有效信息越有限。
信息熵实现过程:(属性选择度量)
1、计算目标变量信息熵D,总熵,等于0时结果确定
2、计算其他特征的信息熵Di,代表对该特征进行分类,留存的不确定性大小,与D的差值代表信息增益值
3、选取信息增益值最高的特征作为下一个分支,知道结束
但一般而言,信息增益偏向选择分支多的特征,这会导致过拟合问题
解决办法是对分支过多进行惩罚。
代码实现
模型训练
from sklearn import tree, datasets
clf = tree.DecisionTreeClassifier(max_depth=1)
clf = fit(X_train,Y_train)
pre = clf.predict()
#DecisionTreeClassifier参数
DecisionTreeClassifier(
class_weight=None,
criterion='gini', #基尼系数,惩罚分支过多
max_depth=1, #最大深度
max_features=None,
max_leaf_nodes=None,
min_impurity_decrease=0.0,
min_impurity_split=None,
min_samples_leaf=1,
min_samples_split=2,
min_weight_fraction_leaf=0.0,
presort=False,
random_state=None,
splitter='best')
展示决策树
# 安装graphviz库
pip install graphviz
import graphivz
# 导入决策树中输出的接口
from sklearn.tree import export_graphviz
export_graphviz(
clf, out_file="wine.dot",
class_names=wine.target_names,
feature_names=wine.feature_names[:2],
impurity=False,
filled=True)
# 打开一个dot文件
with open("wine.dot") as f:
dot_graph = f.read()
# 显示图形
graphviz.Source(dot_graph)