决策树 决策树是一种非参数的监督学习方法,主要用于分类和回归。决策树的目的是构造一种模型,使之能够从样本数据的特征属性中,通过学习简单的决策规则——IF THEN规则,从而预测目标变量的值。 决策树往往采用的是自上而下的设计方法,每迭代循环一次,就会选择一个特征属性进行分叉,直到不能再分叉为止。因此,在构建决策树的过程中,选择最佳(既能够快速分类,又能使决策树的深度最小)的分叉属性是关键所在。这种“最佳性”可以用非纯度(impurity)进行衡量。