机器学习之决策树模型学习笔记

求熵
$$H(x)=-\sum p(i)\ast log(p(i))$$

当p=0或p=1时，H=0 熵值最小；当p=0.5时，H=1 熵值最大。

信息增益

表示特征X使得类Y的不确定性减少的程度。假如原来熵值等于10，经过一次决策过后，熵值降低为8，那么信息增益值就等于2，那么我们可以遍历所有特征的熵值，看下哪个特征使我们的信息增益值最大，那么这个特征就是根节点。依次类推，再在剩下的特征中继续寻找信息增益值最大的特征，那么这个特征就是第二个节点了。

信息增益率

当某个特征非常稀疏，属性值又小时，那么这个特征的熵值就比较小，信息增益就比较大了信息增益率=信息增益/自身熵值。

GINI系数

$$Gini(p)=\sum _{k=1}^K{p}_k(1-p_k)=1-\sum _{k=1}^K{p}_k^2$$

决策树模型

决策树模型参数:
（1）criterion gini or entropy 基尼系数或者熵

（2）splitter best or random 前者是在所有特征中找最好的切分点 后者是在部分特征中（数据量大的时候）

（3）max_features： None（所有），log2，sqrt，N。特征小于50的时候一般使用所有的特征

（4）max_depth 数据少或者特征少的时候可以不管这个值，如果模型样本量多，特征也多的情况下，可以尝试限制下这个决策树的深度。可以尝试遍历max_depth找出最佳。

（5）min_samples_split 如果某节点的样本数少于min_samples_split，则不会继续再尝试选择最优特征来进行划分如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。

（6）min_samples_leaf 这个值限制了叶子节点最少的样本数，如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝，如果样本量不大，不需要管这个值，大些如10W可是尝试下

（7）min_weight_fraction_leaf 这个值限制了叶子节点所有样本权重和的最小值，如果小于这个值，则会和兄弟节点一起被剪枝默认是0，就是不考虑权重问题。一般来说，如果我们有较多样本有缺失值，或者分类树样本的分布类别偏差很大，就会引入样本权重，这时我们就要注意这个值了。

（8）max_leaf_nodes 通过限制最大叶子节点数，可以防止过拟合，默认是"None”，即不限制最大的叶子节点数。如果加了限制，算法会建立在最大叶子节点数内最优的决策树。如果特征不多，可以不考虑这个值，但是如果特征分成多的话，可以加以限制具体的值可以通过交叉验证得到。

（9）class_weight 指定样本各类别的的权重，主要是为了防止训练集某些类别的样本过多导致训练的决策树过于偏向这些类别。这里可以自己指定各个样本的权重如果使用“balanced”，则算法会自己计算权重，样本量少的类别所对应的样本权重会高。

（10）min_impurity_split 这个值限制了决策树的增长，如果某节点的不纯度(基尼系数，信息增益，均方差，绝对差)小于这个阈值则该节点不再生成子节点。即为叶子节点 。

（11）n_estimators:要建立树的个数

这些参数都是用来剪枝决策树，防止决策树太过庞大或者出现过拟合的现象。

# 加载sklearn内置数据集
from sklearn import datasets
housing = datasets.fetch_california_housing()
# 划分训练集测试集
from sklearn.model_selection import train_test_split
data_train, data_test, target_train, target_test = train_test_split(
    housing.data, housing.target, test_size=0.2, random_state=0)

绘制决策树模型

import matplotlib.pyplot as plt
import pandas as pd

# 构造决策树模型
from sklearn import tree
dtr = tree.DecisionTreeRegressor(max_depth=2)
dtr.fit(housing.data[:, [6, 7]], housing.target)  # 选择经纬度两个特征

# 可视化显示需要安装 graphviz  
# https://graphviz.gitlab.io/_pages/Download/Download_windows.html 下载可视化软件
# pip install graphviz
os.environ["PATH"] += os.sep + '.../Graphviz2.38/bin'  # 临时环境变量添加可视化软件

dot_data = tree.export_graphviz(dtr, feature_names=housing.feature_names[6:8],
								out_file=None, filled=True, impurity=False, rounded=True)
# 显示决策树模型
import pydotplus
graph = pydotplus.graph_from_dot_data(dot_data)
from IPython.display import Image
Image(graph.create_png())

决策树模型精度值

dtr = tree.DecisionTreeRegressor(random_state=0)
dtr.fit(data_train, target_train)
dtr.score(data_test, target_test)

# output
0.637355881715626

随机森林模型精度值

from sklearn.ensemble import RandomForestRegressor
rfr = RandomForestRegressor(random_state=0)
rfr.fit(data_train, target_train)
rfr.score(data_test, target_test)

# output
0.7910601348350835

可以看到随机森林模型精度要好点

GridSearchCV

输入参数列表，算出最优结果和参数，实现自动调参，适合于小数据集。

from sklearn.model_selection import GridSearchCV
tree_param_grid = {'min_samples_split': [3,6,9], 'n_estimators': [10,50,100]}
 
# cv 交叉验证次数
grid = GridSearchCV(RandomForestRegressor(), param_grid=tree_param_grid, cv=5)
grid.fit(data_train, target_train)

# 交叉验证结果, 最佳参数值, 评分
grid.cv_results_, grid.best_params_, grid.best_score_

利用得到的参数构造随机森林模型

rfr = RandomForestRegressor(**grid.best_params_, random_state=0)
rfr.fit(data_train, target_train)
rfr.score(data_test, target_test)

# output
0.8088623476993486