机器学习（五）：决策树

一、决策树

1、简介

决策树是一个树结构，每个非叶子节点表示一个特征属性，每个叶子节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。

训练阶段：根据给定数据集，从根节点开始选择特征，构造出一棵树。
测试阶段：根据构造出来的树模型从上到下走一遍。
难点：如何找出最佳节点和最佳分枝；如何让决策树停止生长。

2、衡量标准-熵

（1）熵：表示随机不确定性的度量，不确定越大，得到的熵值也越大（其实就是物品混乱程度，比如商场品类很多，那就很混乱，而在专卖店里面只卖一个牌子的就很稳定）
（2）公式：

在决策树中，期望得到A集合这样的，得到1的概率大，纯度高，熵值低
（3）信息增益：表示特征X使得类y的不确定性减少的程度。比如原始熵值为10，做了一个决策后，熵值下降到8，那增益就为2。有10个特征，都遍历一般，看哪个特征让信息增益最大，最大的那个特征作为根节点

3、如何选择节点

举例：根据14天的打球情况，有4个特征，判断是否去打球

（1）因为有4个特征，划分方式有4种，根据信息增益计算谁当根节点
（2）首先计算原始熵值

（3）对4个特征逐一分析，先从outlook开始

为sunny时，熵值为-2/5log2(2/5)-3/5log2(3/5)=0.971
为overcast时，熵值为0
为rainy时，熵值为-3/5log2(3/5)-2/5log2(2/5)=0.971

根据数据统计，outlook取值分别为sunny,overcast,rainy的概率分别为: 5/14, 4/14, 5/14
熵值计算:5/140.971 + 4/140 + 5/14*0.971 = 0.693

因此熵值从0.940下降到0.693，增益为0.247
（4）同理可得其他特征的增益
gain(temperature)=0.029
gain(humidity)=0.152
gain(windy)=0.048

总结：遍历计算每个特征的熵值，选择增益最大的那个，然后在其余中继续通过信息增益找到第二大的。

4、决策树算法

假设有14个样本，每一个样本相当于特征，其中的属性很多，又特别稀疏，每个属性里面的样本值又特别少，会导致计算出熵值很低，增益很大
解决方案：使用GINI系数当做衡量标准

5、决策树剪枝策略

5.1 为什么剪枝

决策树过拟合风险很大

5.2 剪枝策略

（1）预剪枝（常用）：边建立决策树边进行剪枝操作（可限制树的深度、叶子节点样本数、叶子节点个数、信息增益等）
（2）后剪枝：先建立完决策树后进行剪枝操作

6、代码实现

6.1 数据

（1）导入库，房子的数据集

import matplotlib.pyplot as plt
import pandas as pd

from sklearn.datasets.california_housing import fetch_california_housing
housing = fetch_california_housing()
print(housing.DESCR)

数据集情况：

California housing dataset.

The original database is available from StatLib

    http://lib.stat.cmu.edu/datasets/

The data contains 20,640 observations on 9 variables.

This dataset contains the average house value as target variable
and the following input variables (features): average income,
housing average age, average rooms, average bedrooms, population,
average occupation, latitude, and longitude in that order.

References
----------

Pace, R. Kelley and Ronald Barry, Sparse Spatial Autoregressions,
Statistics and Probability Letters, 33 (1997) 291-297.

（2）一共有8个特征，本次实验选取第6个和第7个特征，分别是经度和维度

housing.data.shape

输出：

(20640, 8)

(3)构造树

from sklearn import tree
# 限制树的最大深度为2
dtr = tree.DecisionTreeRegressor(max_depth=2)
# 选数据集中所有数据，第6列和第7列的特征作为x值
dtr.fit(housing.data[:,[6,7]],housing.target)

输出：

DecisionTreeRegressor(criterion='mse', max_depth=2, max_features=None,
           max_leaf_nodes=None, min_impurity_decrease=0.0,
           min_impurity_split=None, min_samples_leaf=1,
           min_samples_split=2, min_weight_fraction_leaf=0.0,
           presort=False, random_state=None, splitter='best')

补充知识点：树模型参数

• criterion gini or entropy 是用Gini系数还是熵值

• splitter best or random 前者是在所有特征中找最好的切分点 后者是在部分特征中（数据量大的时候）

• max_features None（所有），log2，sqrt，N 特征小于50的时候一般使用所有的

• max_depth 控制树的深度。数据少或者特征少的时候可以不管这个值，如果模型样本量多，特征也多的情况下，可以尝试限制下树的深度

• min_samples_split 如果某节点的样本数少于min_samples_split，则不会继续再尝试选择最优特征来进行划分如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。

• min_samples_leaf 这个值限制了叶子节点最少的样本数，如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝，如果样本量不大，不需要管这个值，大些如10W可是尝试下5

• min_weight_fraction_leaf 这个值限制了叶子节点所有样本权重和的最小值，如果小于这个值，则会和兄弟节点一起被剪枝默认是0，就是不考虑权重问题。一般来说，如果我们有较多样本有缺失值，或者分类树样本的分布类别偏差很大，就会引入样本权重，这时我们就要注意这个值了。

• max_leaf_nodes 通过限制最大叶子节点数，可以防止过拟合，默认是"None”，即不限制最大的叶子节点数。如果加了限制，算法会建立在最大叶子节点数内最优的决策树。如果特征不多，可以不考虑这个值，但是如果特征分成多的话，可以加以限制具体的值可以通过交叉验证得到。

• class_weight 指定样本各类别的的权重，主要是为了防止训练集某些类别的样本过多导致训练的决策树过于偏向这些类别。这里可以自己指定各个样本的权重如果使用“balanced”，则算法会自己计算权重，样本量少的类别所对应的样本权重会高。

• min_impurity_split 这个值限制了决策树的增长，如果某节点的不纯度(基尼系数，信息增益，均方差，绝对差)小于这个阈值则该节点不再生成子节点。即为叶子节点 。

• n_estimators:要建立树的个数
  （4）绘图，画树

#要可视化显示 首先需要安装 graphviz   http://www.graphviz.org/Download..php
# 生成一个.dot文件
dot_data = \
    tree.export_graphviz(
        dtr,
        out_file = None,
        feature_names = housing.feature_names[6:8],
        filled = True,
        impurity = False,
        rounded = True
    )

#pip install pydotplus
import pydotplus
graph = pydotplus.graph_from_dot_data(dot_data)
graph.get_nodes()[7].set_fillcolor("#FFF2DD")
from IPython.display import Image
Image(graph.create_png())

(5)切分数据集，训练数据

from sklearn.model_selection import train_test_split
# 数据集切分，random_state表示指定一个随机种子，要测试参数的时候，测试集里的样本不会改变
data_train, data_test, target_train, target_test = \
    train_test_split(housing.data, housing.target, test_size = 0.1, random_state = 42)
# 构造树模型
dtr = tree.DecisionTreeRegressor(random_state = 42)
dtr.fit(data_train, target_train)
dtr.score(data_test, target_test)

（6）设置参数组合，看哪组参数组合比较合适

from sklearn.grid_search import GridSearchCV
tree_param_grid = {'min_samples_split': list((3,6,9)),'n_estimators':list((10,50,100))}
# 将参数传进来，一共有9组；CV表示进行5次的交叉验证
grid = GridSearchCV(RandomForestRegressor(),param_grid=tree_param_grid,cv=5)
grid.fit(data_train,target_train)
# 输出参数组合，最好的参数，最后的打分
grid.grid_scores_, grid.best_params_, grid.best_score_

输出：

([mean: 0.78785, std: 0.00480, params: {'min_samples_split': 3, 'n_estimators': 10},
  mean: 0.80326, std: 0.00311, params: {'min_samples_split': 3, 'n_estimators': 50},
  mean: 0.80795, std: 0.00443, params: {'min_samples_split': 3, 'n_estimators': 100},
  mean: 0.79090, std: 0.00804, params: {'min_samples_split': 6, 'n_estimators': 10},
  mean: 0.80493, std: 0.00515, params: {'min_samples_split': 6, 'n_estimators': 50},
  mean: 0.80592, std: 0.00401, params: {'min_samples_split': 6, 'n_estimators': 100},
  mean: 0.78882, std: 0.00515, params: {'min_samples_split': 9, 'n_estimators': 10},
  mean: 0.80452, std: 0.00291, params: {'min_samples_split': 9, 'n_estimators': 50},
  mean: 0.80561, std: 0.00418, params: {'min_samples_split': 9, 'n_estimators': 100}],
 {'min_samples_split': 3, 'n_estimators': 100},
 0.807953507360339)

选择最好的参数组合，计算得分

rfr = RandomForestRegressor( min_samples_split=3,n_estimators = 100, random_state = 42)
rfr.fit(data_train, target_train)
rfr.score(data_test, target_test)

输出：

0.80908290496531576