决策树算法
决策树思想的来源非常朴素,程序设计中的条件分支结构就是if-else结构,最早的决策树就是利用这类结构分割数据的一种分类学习的方法。
一个小例子:
利用决策树要进行高效的决策。就是寻找一个特征的先后顺序,用最少的分支(决策树的深度)来高效的确定最后所属的类别。所以这里就要先看年龄。
再看一个例子:
如果我们先看是否有房子,再看是否有工作,那么只需要看两个特征就能够判断出最后是否需要贷款。
如果我们先看年龄,再看信贷情况,再看工作,那么要看三个特征才能决定是否要贷款。
显然,按房子———>工作来做决策是高效的。
那么如何找到最高效的判断呢?找到最高校的决策顺序呢?要引入信息熵,信息增益
信息熵
是信息的衡量,即信息量,单位是比特,N个样本的信息熵的公式如下:
这里,b通常取2。p(xi)为每个样本的概率。 D是样本总是,Ck是某个类别的样本数
小例子计算信息熵:
其中6/15是不贷款的概率,9/15是可以贷款的概率,从而求出总的信息熵是0.971(不确定性),接下来要确定,知道了某个特征之后,不确定性减少的最多,那么我们就应该先看这个特征(以这个特征为开始顺序)
所以我们要求的是,当知道某个特征之后,它的信息熵是多少,所以我们引入信息增益。
决策树的划分依据之一————信息增益
特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差,公式为:
条件熵的计算:
注:信息增益表示得知特征x的信息之后的不确定性减少的程度,使得类Y的信息熵减少的程度
计算H(D|年龄):
所以,哪一个特征的 条件熵最大,那么以此特征进行决策,决策效率会更高一点。
代码实现:利用决策树来进行鸢尾花分类:
#导入决策树算法模块和将树转变为可视化的模块 from sklearn.tree import DecisionTreeClassifier,export_graphviz
#利用决策树对鸢尾花进行分类 def decision_iris(): ''' 用决策树对鸢尾花进行分类 :return: ''' #1 获取数据集 iris = load_iris() #2 划分数据集,传入特征值和目标值,返回的是,训练集的特征值,测试集的特征值,训练集的目标值,测试集合的目标值 x_train,x_test,y_train,y_test = train_test_split(iris.data,iris.target,random_state = 22) #3 使用决策树预估器.criterion="entropy"代表用信息增益进行分类 estimator = DecisionTreeClassifier(criterion="entropy") estimator.fit(x_train,y_train) #4 模型评估 # 方法1:直接比对真实值和预测值 y_predict = estimator.predict(x_test) print("y_predict:\n", y_predict) print("直接比对真实值和预测值:\n", y_test == y_predict) # 方法2:计算准确率 score = estimator.score(x_test, y_test) print("准确率为:\n", score) #可视化决策树. estimator 预估器。out_file="iris_tree.dot" 输出文件名字(默认当前包下) feature_names = iris.feature_names #特征名字 export_graphviz(estimator,out_file="iris_tree.dot",feature_names = iris.feature_names) return None
输出:
决策树的总结:
优点:
简单的理解和解释,决策树能够可视化。
缺点:
决策树学习者可以创建不能很好地推广数据的过于复杂的树,这称为过拟合
改进:
随机森林