决策树模型及scikit实现

一 基本概念： 

根节点： 第一个选择点

叶子节点： 最终的决策结果

非叶子节点和分支：中间过程 

熵：来源于化学的概念，随机变量的不大确定性的度量。不确定性越大，熵越大。计算公式

比如，一枚硬币投掷一次，正负的概率都是0.5 ，那么熵计算公式：

H(x)=-(0.5log2 0.5+0.5log2  0.5)=1.0 

信息增益：熵减少的量。

父节点熵-（子节点的熵的加权平均）=信息增益

信息增益最大的选择就是熵减少最多的选择，可以用来当做决策树的父节点。

剪枝策略

预剪枝：限制深度，叶子节点个数，叶子节点样本数，信息增益

后剪枝： 通过一定的计算方式

参数调节： 

①评价模型的方式，是用熵，还是gini系数

④决策树预剪枝，最大子叶深度。防止过拟合

⑤ 分裂到一级，发现下级样本只有n个，不再分裂。是一个非常重要的参数

⑥ 子叶点最少样本数。样本非常大的时候才会使用

代码示例： 加利福尼亚房价 

#!/usr/bin/env python
# encoding: utf-8

import matplotlib.pyplot as plt
import  pandas as pd
from sklearn.datasets.california_housing import fetch_california_housing
housing=fetch_california_housing()

print(housing)

from sklearn import tree
dtr=tree.DecisionTreeRegressor(max_depth=2)
print('-----------result---------------')
dtr.fit(housing.data[:,[6,7]],housing.target ) # 里面是x,y

# ------------------------可视化展示  http://www.graphviz.org/
# dot_date=\
# tree.export_graphviz(
#     dtr,
#     out_file=None,
#     feature_names=housing.feature_name[6:8],
#     filled=True,
#     impurity=False,
#     rounded=True
# )
#
# import pydotplus as pps
# graph=pps.graph_from_dot_data(dot_date)
# graph.get_nodes()[7].set_fillcolor('#FFF2DD')
# from   IPython.display import  Image as iggg
# iggg(graph.create_png())
# graph.write_png("result.png")
#-----------------------参数自动调优

from sklearn.model_selection import train_test_split
data_train,data_test,target_train,target_test=train_test_split(housing.data,housing.target,test_size=0.1,random_state=42)
dtr=tree.DecisionTreeRegressor(random_state=42)
dtr.fit(data_train,target_train)
sc1=dtr.score(data_test,target_test)   #
print(sc1)


from sklearn.ensemble import  RandomForestRegressor
rfr=RandomForestRegressor(random_state=42)
rfr.fit(data_train,target_train)
sc2=rfr.score(data_test,target_test)
print( sc2)


# --------------------- 遍历参数选择最优,   GridSearchCV
from sklearn.model_selection import GridSearchCV as gcv
tree_param_grid={'min_samples_split':list((3,6,9)),'n_estimators':list((10,50,100))} #n值
grid=gcv(RandomForestRegressor(),param_grid=tree_param_grid,cv=5) #cv交叉验证的次数 
grid.fit(data_train,target_train)
print('-------------gcv选择结果---------')
print(
    grid.best_score_,grid.best_params_,  grid.scorer_
)

其中 GridSearchCV  用来做最优化参数选择，cv是交叉验证的次数。

参考：https://blog.csdn.net/qq_29003925/article/details/75222560