决策树算法是根据数据的属性采用树状结构建立的一种决策模型,通过该决策体系,决策树算法既可以求解分类问题,即对应的目标值是类别型数据,也可以应用于回归预测问题多的求解,其输出值是连续的实数值。决策树分类则是采用归纳学习的方法,它通过信息论的相关原理将数据集的类别差异进行归纳,然后建立类别标准。
信息熵就是决策树方法中分支产生的衡量标准之一。对于每个节点,在每一次选择分列属性时,计算这种分类所带来的信息熵的变化(也就是信息增益),并比较不同分类下的信息增益的大小。
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
iris = load_iris()
X=iris.data
y=iris.target
#这里设置criterion为entropy为ID3算法
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=42)
tree = DecisionTreeClassifier(random_state=0)
tree.fit(X_train, y_train)
print("Accuracy on training set: {:.3f}".format(tree.score(X_train, y_train)))
print("Accuracy on test set: {:.3f}".format(tree.score(X_test, y_test)))
限制树的深度可以减少过拟合。这会降低训练集的精度,但可以提高测试集的精度:
tree = DecisionTreeClassifier(max_depth=4, random_state=0)
tree.fit(X_train, y_train)
print("Accuracy on training set: {:.3f}".format(tree.score(X_train, y_train)))
print("Accuracy on test set: {:.3f}".format(tree.score(X_test, y_test)))
分析决策树
利用 tree 模块的 export_graphviz 函数来将树可视化。这个函数会生成一个 .dot 格式的文件,这是一种用于保存图形的文本文件格式。我们设置为结点添加颜色的选项,颜色表示每个结点中的多数类别,同时传入类别名称和特征名称,这样可以对树正确标记:
from sklearn.tree import export_graphviz
export_graphviz(tree, out_file="tree.dot", class_names=['setosa', 'versicolor', 'virginica'], feature_names=iris.feature_names, impurity=False, filled=True)
import graphviz
with open("tree.dot") as f:
dot_graph = f.read()
graphviz.Source(dot_graph)
分类回归树CART时一种典型的二叉决策树(对特征属性进行二元分裂),主要是分类研究,可以同时处理连续变量和分类变量。如果目标变量是分类变量,则CART生成分类决策树,如果目标变量是连续变量,则CART变量生成回归决策树。
决策树剪枝方法
决策树对训练属性有很好的分类能力,但是对未知的测试集未必有好的分类能力,泛化能力弱,可能发生过拟合现象。决策树剪枝方法分为预剪枝和后剪枝。
预剪枝,是在整个决策树结构生成之前进行的剪枝,由于缺乏对整个分类过程、分类规则的全面了解,它是通过提前停止树的构造实现。通过确定在给定的节点不再分裂或划分训练元组的子集;指定节点的熵小于某个值,不再划分。
后剪枝,首先构造完整的决策树,允许决策树过度拟合训练数据,然后自底向上或自顶向下的对非叶子节点进行考察,若将该节点对应的子树换位叶子节点能够带来泛化性能的提升。