机器学习（3）：决策树 Decision Trees

目录

一、决策树基础

二、scikit-learn中的决策树

2.1 回归决策树DecisionTreeRegressor

2.1 分类决策树DecisionTreeClassifier

---

 

一、决策树基础

1.1决策树：

从根节点开始一步步走到叶子节点（决策）决策树，所有的数据最终都会落到叶子节点，既可以做分类也可以做回归。

1.2根节点：

第一个选择点决策树。非叶子节点与分支：中间过程。叶子节点：最终的决策结果

1.3训练阶段：

从给定的训练集构造出来一棵树（从跟节点开始选择特征，
如何进行特征切分）决策树
1.4测试阶段：

根据构造出来的树模型从上到下去走一遍就好了
一旦构造好了决策树，那么分类或者预测任务就很简单了，只需要走一遍就可以了，那么难点就在于如何构造出来一颗树，这就没那么容易了，需要考虑的问题还有很多的！

1.5总结决策树的3个算法：

 

1.6决策树剪枝策略：
为什么要剪枝：决策树过拟合风险很大，理论上可以完全分得开数据（想象一下，如果树足够庞大，每个叶子节点不就一个数据了嘛）决策树
剪枝策略：预剪枝，后剪枝
预剪枝：边建立决策树边进行剪枝的操作（更实用）
后剪枝：当建立完决策树后来进行剪枝操作

 

二、scikit-learn中的决策树

 

2.1 回归决策树DecisionTreeRegressor

 

官方文档

 

from sklearn.tree import DecisionTreeRegressor
'''
回归决策树
'''
DecisionTreeRegressor(criterion="mse",
                         splitter="best",
                         max_depth=None,
                         min_samples_split=2,
                         min_samples_leaf=1,
                         min_weight_fraction_leaf=0.,
                         max_features=None,
                         random_state=None,
                         max_leaf_nodes=None,
                         min_impurity_decrease=0.,
                         min_impurity_split=None,
                         presort=False)

参数含义：

参数含义：
1.criterion: string, optional (default="mse")
            它指定了切分质量的评价准则。默认为'mse'(mean squared error)。
2.splitter: string, optional (default