sklearn中的决策树

参数
DecisionTreeRegressor(criterion=’mse’, splitter=’best’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, presort=False)

参数说明:

  • criterion : string, optional (default=”mse”),衡量划分质量的准则,其他选项有“friedman_mse”,“mae”平均绝对误差;
  • splitter : string, optional (default=”best”),用来选择每个节点的划分策略,其他选择有“random”选择最好的随机划分;
  • max_depth : int or None, optional (default=None),树的最大深度,None的话,节点会扩展至叶节点只包含一类的值;
  • min_samples_split : int, float, optional (default=2),一个内部节点可以划分需要的最少样本数目;如果是整数,就是样本数目;如果是分数,表明ceil(min_samples_split * n_samples) 个样本;
  • min_samples_leaf : int, float, optional (default=1),形成叶节点需要的最少样本数目,整数和分数与上同;
  • min_weight_fraction_leaf : float, optional (default=0.),形成叶节点所需要的最小权重分数
  • max_features : int, float, string or None, optional (default=None),选择最优划分时需要考虑的特征数量,整数和分数与上同,“auto”为n个特征;“sqrt”,根号n个特征;“log2”,log2(n)个特征;None,n个特征;
  • random_state : int, RandomState instance or None, optional (default=None),随机数的生成器,
  • max_leaf_nodes : int or None, optional (default=None),生成一棵max_leaf_nodes节点的最优树。
  • min_impurity_decrease : float, optional (default=0.),当不纯度的降低大于或等于该值时,节点将被划分;
  • min_impurity_split : float, (default=1e-7),deprecated,min_impurity_decrease 使用这个;
  • presort : bool, optional (default=False),是否预排序数据来加速寻找最优的划分拟合。
优缺点

决策树是一种无参数的监督学习算法,可用于分类和回归问题。
其优点有:

  • 易于理解和解释,可以被可视化;
  • 需要较少的数据预处理;
  • 训练树是与数据集数量成对数复杂度的消耗;
  • 可以处理连续和离散的值;
  • 可以处理多类输出问题;
  • 白盒模型;
  • 可以使用统计测试来验证模型;
  • 即使假设和真正的模型有冲突,也能表现很好;
    缺点有:
  • 决策树会过拟合,造成泛化能力不足;
  • 决策树不稳定,因为输入数据一个很小的变动会导致一个完全不同的结果;
  • 学习一个最优的决策树是np完全问题;
  • 决策树对XOR,parity,multiplexer问题不能很好的表示;
  • 如果数据不平衡,会导致决策树的偏斜。
sklearn中的DecisionTreeClassifier

和其他分类器类似,DecisionTreeClassifier输入是两个数组:X稀疏或稠密,维度[n_samples, n_features],表示训练的样本;Y,整数个值,size [n_samples],表明了训练样本的标签。

>>> from sklearn import tree
>>> X = [[0, 0], [1, 1]]
>>> Y = [0, 1]
>>> clf = tree.DecisionTreeClassifier()
>>> clf = clf.fit(X, Y)

训练好的模型,可以用来预测样本的分类:

>>> clf.predict([[2., 2.]])
array([1])

同样的,也可以用来预测样本属于每一类的概率,

>>> clf.predict_proba([[2., 2.]])
array([[0., 1.]])

DecisionTreeClassifier可以用于二分类,也可以用于多分类。

可视化

训练好的模型可以用 export_graphviz方法,输出Graphviz格式进行可视化。安装包

conda install python-graphviz
下面的代码将训练的模型可视化结果输出到"iris.pdf"文件中。
>>> import graphviz 
>>> dot_data = tree.export_graphviz(clf, out_file=None) 
>>> graph = graphviz.Source(dot_data) 
>>> graph.render("iris") 

也支持美化选项,包括通过类别(回归问题的值)来对节点染色,或者使用显式的变量。如下

>>> dot_data = tree.export_graphviz(clf, out_file=None, 
...                      feature_names=iris.feature_names,  
...                      class_names=iris.target_names,  
...                      filled=True, rounded=True,  
...                      special_characters=True)  
>>> graph = graphviz.Source(dot_data)  
>>> graph 
实际使用的建议
  • 当有大量的特征时,决策树易过拟合。因为很少的点在高维空间容易过拟合;
  • 可以使用维度规约(PCA,ICA或特征选择);
  • 可视化树,使用max_depth=3作为最初的树高度来感觉它是如何拟合数据的,然后增加高度;
  • 当每增加一层高度时,就需要一定数量的样本,可以使用max_depth来防止过拟合;
  • 使用min_samples_split 或者min_samples_leaf 来保证多个样本来组成了决策,来控制应该考虑哪种分割。太小的值会导致过拟合,太大又会导致学不到数据中的模型。可以使用min_samples_leaf=5作为初始值;
  • 平衡训练数据,防止决策树偏斜;
  • 如果样本有权重,可以使用基于权重的预剪枝准则min_weight_fraction_leaf来优化树的结构;
  • 决策树内部使用np.float32数组;
  • 如果输入X是很稀疏的矩阵,推荐转化成稀疏的csc_matrix 进行训练,稀疏的csr_matrix 来预测结果。
示例(鸢尾花数据的决策面和决策树的可视化)
import numpy as np
import matplotlib.pyplot as plt

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier

# Parameters
n_classes = 3
plot_colors = "ryb"
plot_step = 0.02

# Load data
iris = load_iris()

for pairidx, pair in enumerate([[0, 1], [0, 2], [0, 3],
                                [1, 2], [1, 3], [2, 3]]):
    # We only take the two corresponding features
    X = iris.data[:, pair]
    y = iris.target

    # Train
    clf = DecisionTreeClassifier().fit(X, y)

    # Plot the decision boundary
    plt.subplot(2, 3, pairidx + 1)

    x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, plot_step),
                         np.arange(y_min, y_max, plot_step))
    plt.tight_layout(h_pad=0.5, w_pad=0.5, pad=2.5)

    Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)
    cs = plt.contourf(xx, yy, Z, cmap=plt.cm.RdYlBu)

    plt.xlabel(iris.feature_names[pair[0]])
    plt.ylabel(iris.feature_names[pair[1]])

    # Plot the training points
    for i, color in zip(range(n_classes), plot_colors):
        idx = np.where(y == i)
        plt.scatter(X[idx, 0], X[idx, 1], c=color, label=iris.target_names[i],
                    cmap=plt.cm.RdYlBu, edgecolor='black', s=15)

plt.suptitle("Decision surface of a decision tree using paired features")
plt.legend(loc='lower right', borderpad=0, handletextpad=0)
plt.axis("tight")
plt.show()

参考资料:https://scikit-learn.org/stable/modules/tree.html?tdsourcetag=s_pctim_aiomsg

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值