机器学习框架sklearn之决策树

概念

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-else结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。

如何高效的进行决策？

• 特征的先后顺序

在应用决策树之前，我们先了解一下信息熵和信息增益的概念。

信息熵

• 定义
  信息熵相当于信息量的期望，信息熵是对事件不确定度的一种度量。信息熵越大，说明事物越具有不稳定因素，越具有不确定性。
  计算公式：
  

  H的专业术语称之为信息熵，单位为比特。

信息增益

• 定义
  熵：表示随机变量的不确定性。
  条件熵：在一个条件下，随机变量的不确定性。
  信息增益：熵 - 条件熵。信息增益代表了在一个条件下，信息不确定性减少的程度。

• 公式

  特征A对训练数据集D的信息增益g(D,A)，定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为：

  g(D,A)=H(D)-H(D|A)

  公式的详细解释：

  • 信息熵
    

  • 条件熵

  • 

  注：①表示属于某个类别的样本数

  ②信息增益表示得知特征X的的不确定性减少的程度使得类Y的信息熵减少的程度

决策树的划分依据之一——信息增益

当然决策树的原理不止信息增益这一种，还有其他方法。但是原理都相似。

• ID3:信息增益 最大的准则
• C4.5:信息增益比 最大的准则
• CART
  • 分类树：基尼系数 最小的准则 在sklearn中可以选择划分的默认原则
  • 优势：划分更加细致

决策树API

class sklearn.tree.DecisionTreeClassifier(criterion='gini',
max_depth=None,random_state=None)
-决策树分类器
-criterion：默认是‘gini’系数，也可以选择信息增益的熵‘entropy’
-max_depth：树的深度大小
-random_state:随机数种子

使用展示

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
def tree_demo():
    # 1.获取数据集
    iris=load_iris()
    # 2.划分数据集
    x_train,x_test,y_train,y_test=train_test_split(iris.data,iris.target,random_state=22)

    # 3.决策树预估器
    estimator=DecisionTreeClassifier(criterion="entropy")
    estimator.fit(x_train,y_train)
    # 4.模型评估
    # 方法一
    y_predict = estimator.predict(x_test)
    print("直接比对真实值和预测值：\n", y_test == y_predict)
    # 方法二
    score = estimator.score(x_test, y_test)
    print("准确率为：\n", score)
    # 最佳参数：best_params_
    print("最佳参数:\n", estimator.best_params_)
    # 最佳结果：best_score_
    print("最佳结果：\n", estimator.best_score_)
    # 最佳估计器：best_estimator_
    print("最佳估计器：\n", estimator.best_estimator_)
    # 交叉验证结果：cv_results_
    print("交叉验证结果：\n", estimator.cv_results_)
    return None	

决策树可视化

sklearn.tree.export_graphviz()该函数能够导出DOT格式
使用：tree.export_graphviz(estimator,out_file='tree.dot',feature_names=[""])

总结

• 优点：可视化——可解释能力强

• 缺点：容易产生过拟合

• 改进：①剪枝cart算法 ②随机森林