概念
决策树思想的来源非常朴素,程序设计中的条件分支结构就是if-else结构,最早的决策树就是利用这类结构分割数据的一种分类学习方法。
如何高效的进行决策?
- 特征的先后顺序
在应用决策树之前,我们先了解一下信息熵和信息增益的概念。
信息熵
-
定义
信息熵相当于信息量的期望,信息熵是对事件不确定度的一种度量。信息熵越大,说明事物越具有不稳定因素,越具有不确定性。
计算公式:
H的专业术语称之为信息熵,单位为比特。
信息增益
-
定义
熵:表示随机变量的不确定性。
条件熵:在一个条件下,随机变量的不确定性。
信息增益:熵 - 条件熵。信息增益代表了在一个条件下,信息不确定性减少的程度。 -
公式
特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差,即公式为:
g(D,A)=H(D)-H(D|A)
公式的详细解释:
-
信息熵
-
条件熵
-
注:①
表示属于某个类别的样本数
②信息增益表示得知特征X的的不确定性减少的程度使得类Y的信息熵减少的程度
-
决策树的划分依据之一——信息增益
当然决策树的原理不止信息增益这一种,还有其他方法。但是原理都相似。
- ID3:信息增益 最大的准则
- C4.5:信息增益比 最大的准则
- CART
- 分类树:基尼系数 最小的准则 在sklearn中可以选择划分的默认原则
- 优势:划分更加细致
决策树API
class sklearn.tree.DecisionTreeClassifier(criterion='gini',
max_depth=None,random_state=None)
-决策树分类器
-criterion:默认是‘gini’系数,也可以选择信息增益的熵‘entropy’
-max_depth:树的深度大小
-random_state:随机数种子
使用展示
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
def tree_demo():
# 1.获取数据集
iris=load_iris()
# 2.划分数据集
x_train,x_test,y_train,y_test=train_test_split(iris.data,iris.target,random_state=22)
# 3.决策树预估器
estimator=DecisionTreeClassifier(criterion="entropy")
estimator.fit(x_train,y_train)
# 4.模型评估
# 方法一
y_predict = estimator.predict(x_test)
print("直接比对真实值和预测值:\n", y_test == y_predict)
# 方法二
score = estimator.score(x_test, y_test)
print("准确率为:\n", score)
# 最佳参数:best_params_
print("最佳参数:\n", estimator.best_params_)
# 最佳结果:best_score_
print("最佳结果:\n", estimator.best_score_)
# 最佳估计器:best_estimator_
print("最佳估计器:\n", estimator.best_estimator_)
# 交叉验证结果:cv_results_
print("交叉验证结果:\n", estimator.cv_results_)
return None
决策树可视化
sklearn.tree.export_graphviz()该函数能够导出DOT格式
使用:tree.export_graphviz(estimator,out_file='tree.dot',feature_names=[""])
总结
-
优点:可视化——可解释能力强
-
缺点:容易产生过拟合
-
改进:①剪枝cart算法 ②随机森林