机器学习1——决策树

---

基本概念

决策树构建

构建决策树，划分属性的选择顺序是最重要的。

信息熵就是一种衡量样本集合“纯度”的指标，如果一个特征包含的信息越确定，则其纯度越高。信息熵越大，不确定性越大，该特征表达的有效信息越有限。

信息熵实现过程：（属性选择度量）
1、计算目标变量信息熵D，总熵，等于0时结果确定
2、计算其他特征的信息熵Di，代表对该特征进行分类，留存的不确定性大小，与D的差值代表信息增益值
3、选取信息增益值最高的特征作为下一个分支，知道结束

但一般而言，信息增益偏向选择分支多的特征，这会导致过拟合问题
解决办法是对分支过多进行惩罚。

代码实现

模型训练

from sklearn import tree, datasets
clf = tree.DecisionTreeClassifier(max_depth=1)
clf = fit(X_train,Y_train)
pre = clf.predict()
#DecisionTreeClassifier参数
DecisionTreeClassifier(
				class_weight=None,
				criterion='gini',	#基尼系数，惩罚分支过多
				max_depth=1,		#最大深度
				max_features=None,
				max_leaf_nodes=None,
				min_impurity_decrease=0.0,
				min_impurity_split=None,
				min_samples_leaf=1,
				min_samples_split=2,
				min_weight_fraction_leaf=0.0,
				presort=False,
				random_state=None,
				splitter='best')

展示决策树

# 安装graphviz库
pip install graphviz
import graphivz
# 导入决策树中输出的接口
from sklearn.tree import export_graphviz
export_graphviz(
			clf, out_file="wine.dot",
			class_names=wine.target_names,
			feature_names=wine.feature_names[:2],
			impurity=False,
			filled=True)
# 打开一个dot文件
with open("wine.dot") as f:
	dot_graph = f.read()
# 显示图形
graphviz.Source(dot_graph)