python决策树sklearn_Python机器学习sklearn模块——决策树

决策树可以用来解决分类与回归问题，是一种非线性模型；一课决策树一般包含一个根节点、若干个内部节点和若干个叶节点；生产决策树最关键的是如何选择最优划分属性，我们希望分支节点所包含的样本近可能的属于同一类别，即节点的“纯度”越来越高；而评估样本集合纯度的常用指标有信息增益、增益率和基尼指数；

决策树容易出现过拟合状况，因为它们可以通过精确的描述每个训练样本的 特征而构建出复杂的决策树，从而忽略了一般性的真实关联关系；可以通过减枝来消除过拟合；决策树剪枝的基本策略有“预剪枝”和“后剪枝”，预剪枝是在决策树生成的过程中，对每个结点在划分前先进行估计，若当前节点的划分不能带来决策树泛化性能提升，则停止划分并将当前节点标记为叶结点；后剪枝则是从训练集中先生成一颗完整的决策树，然后自底向上地对非叶结点进行考察，若将该结点对应的子树替换成叶结点能带来决策树泛化性能提升，则将该子树替换成叶结点；

分类

DecisionTreeClassifier能够实现多类别的分类，一个是向量x，大小为[n_samples,n_features]([样本量，属性量]),用来记录训练样本；一个是向量y，大小为[n_samples]，值为interger类型，用来记录训练样本的类标签：

from sklearn.datasets import load_irisfrom sklearn import treeiris = load_iris()#iris.data存储的是属性值，iris.target存储的是类标签dts = tree.DecisionTreeClassifier()dts = dts.fit(iris.data, iris.target)这里已经训练好了一课决策树，可以安装graphviz来展现：import graphvizdot_data = tree.export_graphviz(dts, out_file=None, feature_names = iris.feature_names, class_names = iris.target_names, filled=True)graph = graphviz.Source(dot_data)graph

训练好决策树后就可以来预测测试样本的类标签了：

dts.predict(iris.data[:1, ：])dts.predict_proba(iris.data[:1,:])预测结果：array([0])预测每个类的可能性：array([[ 1., 0., 0.]])

回归

DecisionTreeRegressor用来解决回归问题，这里的输入参数中Y向量中的值float类型：

import numpy as npfrom sklearn.tree import DecisionTreeRegressorimport matplotlib.pyplot as plt#生成一个随机的数据集rng = np.random.RandomState(1)x = np.sort(5 * rng.rand(80, 1), axis=0)y = np.sin(x).ravel()y[::5] += 3 *(0.5 - rng.rand(16))#训练模型regr_1 = DecisionTreeRegressor(max_depth=2)regr_2 = DecisionTreeRegressor(max_depth=5)regr_1.fit(x, y)regr_2.fit(x, y)#预测x_test = np.arange(0.0, 5.0, 0.01)[:, np.newaxis]y_1 = regr_1.predict(x_test)y_2 = regr_2.predict(x_test)展示结果：plt.figure()plt.scatter(x, y, s=20, edgecolor="black", c="darkorange", label="data")plt.plot(x_test, y_1, color="blue",label="max_depth=2", linewidth=2)plt.plot(x_test, y_2, color="green", label="max_depth=5", linewidth=2)plt.xlabel("data")plt.ylabel("target")plt.title("Decition Tree Regressor")plt.legend()plt.show()