机器学习——决策树+随机森林

非零因子

已于 2022-03-28 16:58:38 修改

阅读量2.4k

点赞数

分类专栏：机器学习文章标签：机器学习

于 2022-03-28 16:58:08 首次发布

本文链接：https://blog.csdn.net/weixin_46489969/article/details/123741069

版权

机器学习专栏收录该内容

8 篇文章 2 订阅

订阅专栏

决策树

认识决策树

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法——不是这个，就是那个。

决策树的生成

信息的单位——比特

32只球队，预测冠军是谁？

32支球队，log32=5比特，以2为底

64支球队，log64=6比特

信息熵

“谁是世界杯冠军”的信息量应该比5比特少。香农指出，它的准确信息量应该是：

$H=-(p_1logp_1+p_2logp_2+...+p_32logp_32)$

H的专业术语称之为信息熵，单位为比特。

$H(X)=\Sigma _{x\in X}P(x)logP(x)$

当这32支球队夺冠的几率相同，不知道任何一个球队的信息时，对应的信息熵等于5比特。

但实际情况，可以得到一些信息，猜冠军球队的代价减少，信息熵减少。

信息和消除不确定性是相联系的。

决策树的划分依据之一——信息增益

哪个特征更重要？

信息增益：得知一个特征条件之后，减少的信息熵大小。

特征A对训练数据集D的信息增益g(D,A)，定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为：

$g(D,A)=H(D)-H(D|A)$

注：信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度

信息熵H(D)的计算：

$H(D)=-\sum_{k=1}^{K}\frac{\left | C_k \right |}{\left | D \right |}log\frac{\left | C_k \right |}{\left | D \right |}$

条件熵H(D|A)的计算：

$H(D|A)=\sum_{i=1}^{n}\frac{\left | D_i \right |}{\left | D \right |}H(D_i)=-\sum_{i=1}^{n}\frac{\left | D_i \right |}{\left | D \right |}\sum_{k=1}^{K}\frac{\left | D_{ik} \right |}{\left | D_i \right |}log\frac{\left | D_{ik} \right |}{\left | D_i \right |}$

注：Ck 表示属于某个类别的样本数，

例题——银行贷款分析

有房子6个，没房子9个

$H(D)=-((9/15)log(9/15)+(6/15)log(6/15))=0.971$

各个特征的信息增益：年龄、工作、房子、信贷情况——最终的类别

计算例子如下：

$g(D/nianling)=0.971-(1/3H(qing)+1/3H(zhong)+1/3H(lao))$

$H(qing)=-((2/5)log(2/5)+(3/5)log(3/5))$

最终结果：

$g(D,gongzuo)=0.324$ ， $g(D,fangzi)=0.420$ ， $g(D,xindai)=0.363$

决策树的其他分类依据

ID3——信息增益最大的准则

C4.5——信息增益比最大的准则

CART——回归树: 平方误差最小

——分类树: 基尼系数最小的准则在sklearn中可以选择划分的默认原则

基尼系数划分更加仔细

案例——泰坦尼克号乘客生存分类

1、pd读取数据

2、选择有影响的特征，处理缺失值

3、进行特征工程，pd转换字典，特征抽取——x_train.to_dict(orient="records")

4、决策树估计器流程

Titanic - Machine Learning from Disaster | Kaggle

import pandas as pd
from sklearn.tree import DecisionTreeClassifier,export_graphviz
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import  train_test_split
def decision():
    """
    决策树对泰坦尼克号进行预测生死
    :return:
    """
    # 获取数据
    titan = pd.read_csv('./案例/03-titan/train.csv')
    # 处理数据，找出目标值和特征值
    x = titan[['Pclass','Age','Sex']]
    y = titan['Survived']
    # 填补缺失值
    x['Age'].fillna(x['Age'].mean(),inplace=True)
    # 分割数据集到训练集和测试集
    x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.25)
    # 字典特征抽取
    dict = DictVectorizer(sparse=False)
    # one-hot编码
    x_train = dict.fit_transform(x_train.to_dict(orient='records'))
    print(dict.get_feature_names())
    x_test = dict.transform(x_test.to_dict(orient='records'))
    # 决策树
    dec = DecisionTreeClassifier()
    dec.fit(x_train,y_train)
    print('预测的准确率：',dec.score(x_test,y_test))
    # `# 导出决策树的结构
    # export_graphviz(dec, out_file ='案例/03-titan/tree.dot', feature_names=['Age', 'Pclass', 'Sex=female', 'Sex=male'])`
if __name__=='__main__':
    decision()

预测的准确率： 0.8026905829596412

决策树的结构、本地保存

1、sklearn.tree.export_graphviz() 该函数能够导出DOT格式

tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])

2、将dot文件转成png

安装graphviz：ubuntu:sudo apt-get install graphviz Mac:brew install graphviz

运行命令——$ dot -Tpng tree.dot -o tree.png

决策树的优缺点

优点：

简单的理解和解释，树木可视化。
需要很少的数据准备，其他技术通常需要数据归一化。

缺点：

决策树学习者可以创建不能很好地推广数据的过于复杂的树，这被称为过拟合。
决策树可能不稳定，因为数据的小变化可能会导致完全不同的树被生成。

改进：

减枝cart算法（决策树API已经实现）
```
min_samples_split=2,
min_samples_leaf=1,
```
随机森林

注：企业重要决策，由于决策树很好的分析能力，在决策过程应用较多。

随机森林——集成学习方法

集成学习方法

集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。

随机森林

由多个决策树结合而成的集成学习方法

在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。

随机森林建立多个决策树的过程

单个树建立过程

随机在N个样本当作选择一个样本，重复N次，样本有可能重复（bootstrap抽样：随机有放回的抽样）
随机在M个特征当中选出m个特征，用于确定决策树上一个节点的决策结果，其中m应远小于M

为什么要随机抽样训练集？　　

如果不进行随机抽样，每棵树的训练集都一样，那么最终训练出的树分类结果也是完全一样的。

为什么要有放回地抽样？

如果不是有放回的抽样，那么每棵树的训练样本都是不同的，都是没有交集的，这样每棵树都是“有偏的”，都是绝对“片面的”（当然这样说可能不对），也就是说每棵树训练出来都是有很大的差异的；而随机森林最后分类取决于多棵树（弱分类器）的投票表决。

随机森林API

class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’,max_depth=None, bootstrap=True, random_state=None)——随机森林分类器

n_estimators：integer，optional（default = 10）森林里的树木数量

criteria：string，可选（default =“gini”）分割特征的测量方法

max_depth：integer或None，可选（默认=无）树的最大深度

max_feature：{"auto", "sqrt", "log2"} 最多几个特征就分支

If "auto", then `max_features=n_features`.
- If "sqrt", then `max_features=sqrt(n_features)`.
- If "log2", then `max_features=log2(n_features)`.
- If None, then `max_features=n_features`.

bootstrap：boolean，optional（default = True）是否在构建树时使用放回抽样

随机森林的超参数

 # 随机森林进行预测（超参数调优）
    rf = RandomForestClassifier()
    param = {'n_estimators':[120,200,300,500,800,1200],'max_depth':[5,8,15]}
    # 网格搜索与交叉验证
    gc = GridSearchCV(rf,param_grid=param,cv=2)
    gc.fit(x_train,y_train)
    print('准确率：',gc.score(x_test,y_test))
    print('查看选择的参数模型：',gc.best_params_)

准确率： 0.7982062780269058
查看选择的参数模型： {'max_depth': 5, 'n_estimators': 200}

随机森林的优点

1、在当前所有算法中，具有极好的准确率

2、能够有效地运行在大数据集上

3、能够处理具有高维特征的输入样本，而且不需要降维

4、能够评估各个特征在分类问题上的重要性

5、对于缺省值问题也能够获得很好得结果

非零因子

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
机器学习——决策树+随机森林

决策树随机森林
复制链接

扫一扫

专栏目录