机器学习——决策树与随机森林

一. 决策树

1. 定义

逻辑回归是一种线性用监督的离散型分类模型
决策树是一种非线性有监督离散型分类模型
随机森林是一种非线性有监督离散型分类模型
决策树是通过固定的条件对类别进行判断的
逻辑回归用于非线性的解决方法： 映射到高维：

2. 决策树的生成

数据在不断分裂的递归过程中，每一次的分裂尽可能让类别一样的数据在树的一边，当树的叶子节点的数据都是一类的时候，则停止分裂（if-else语句）

3. 损失函数

1） 基尼系数
基尼系数是指国际上通用的，用以衡量一个国家或者是地区居民收入差距的常用指标

• 若低于0.2表示指数等级极低；（高度平均）
• 0.2-0.29表示指数等级低；（比较平均）
• 0.3-0.39表示指数等级中；（相对合理）
• 0.4-0.59表示指数等级高；（差距较大）
• 0.6以上表示指数等级极高。（差距悬殊）

2） 熵
1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C．E．香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度，信息增益
3） 方差

数据集：

分割方式1：

分割方式2：

哪种分割方式更好？

4. 决策树的纯度

1）定义
当应用一个特征（eg： 头发的长度），对数据（eg：男女）进行分类，若这个特征能把数据分到一侧（eg： 全为男，或者全为女），则可以说该特征可分类纯度高

2） 纯度与各参数的关系：
基尼系数越大，熵越大，方差越大，数据集越不一样，纯度越高**
3） 纯度计算的方式：

4） 纯度的参数
splitter： best（在创建决策树的时候选择最好的方式，这样的方式虽然速度慢，但是纯度高），random（在创建决策树的的时候，随意选择，这样做的好处是速度快，但是纯度低）

5. 决策树的分割方式—— 非线性

决策树的参数： 为了创建一个优秀的决策树而提供的支持
max_leaf_node:最大的叶子节点
max_depth:创建决策树的最大深度
min_samples_split:叶子节点的最小划分
min_samples_leaf: 最少分成多少个叶子节点
min_weight_fraction_leaf： 每个叶子节点的权重
max_features： 划分时考虑的最大特征数（官方文档： The number of features to consider when looking for the best split：在决定最好的划分时候，特征的数量）

6. 剪枝

1）实质： 就是决策树的正则化
2）目的： 为了减少过拟合现象
3）剪枝分类：
(1)预剪枝：

• 定义： 在这棵树还没有开始分裂的时候，提前预设一些条件，通过对将要生成的树的判断，来限制max_depth
• 预剪枝的方式： 控制分裂的层数、控制叶子节点的样本数量

(2) 后剪枝
定义： 在树生成之后，通过对某些叶子节点的删除，来限制max_leaf_perc(比如： 合并叶子节点)

4）剪枝的作用：
剪枝保证了模型的通用性

7. one-hot

1)定义
One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。
One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。
2） 实例
eg1： 男女的表示：
男——>10
女——>01
eg2:
运动特征：[“足球”，“篮球”，“羽毛球”，“乒乓球”]（这里N=4）：
足球 => 1000
篮球 => 0100
羽毛球 => 0010
乒乓球 => 0001
当想要表示样本[“男”，“羽毛球”]的时候就可以写成： [100010]，实际上就是：[10 | 0010 ]
3） 使用one-hot 的好处：
使用one-hot编码，将离散特征的取值扩展到了欧式空间，离散特征的某个取值就对应欧式空间的某个点。将离散型特征使用one-hot编码，确实会让特征之间的距离计算更加合理

7. 单棵决策树缺点

1）. 运算量大，需要一次加载所有数据进内存，并且找寻分割条件是一个极消耗资源的工作
2）. 训练样本中出现异常数据的时候，将会对决策树产生很大的影响，抗干扰能力差
解决方法：
1）. 减少决策树所需的训练样本（减少行或者减少列）
2）. 随机采样，降低异常数据的影响

8. 代码实现决策树

实验代码如下：

	from sklearn.tree import DecisionTreeRegressor
    import  numpy as np
    import matplotlib.pyplot as plt
    
    N = 100
    x = np.random.rand(N) * 6 -3
    x.sort()
    
    y = np.sin(x) + np.random.rand(N)*0.05
    x= x.reshape(-1,1)
    dt_reg = DecisionTreeRegressor(criterion='mse',max_depth=3)
    dt_reg.fit(x,y)
    x_test = np.linspace(-3,3,50).reshape(-1,1)
    y_hat = dt_reg.predict(x_test)
    
    plt.plot(x, y, "y*", label="actual")
    plt.plot(x_test, y_hat, "b-", linewidth=2, label="predict")
    plt.legend(loc="upper left")
    plt.grid()
    plt.show()
    
    #################################################
    
    # 比较不同深度的决策树
    depth = [2, 4, 6, 8, 10]
    color = 'rgbmy'
    dt_reg = DecisionTreeRegressor()
    plt.plot(x, y, "ko", label="actual")
    x_test = np.linspace(-3, 3, 50).reshape(-1, 1)
    for d, c in zip(depth, color):
        dt_reg.set_params(max_depth=d)
        dt_reg.fit(x, y)
        y_hat = dt_reg.predict(x_test)
        plt.plot(x_test, y_hat, '-', color=c, linewidth=2, label="depth=%d" % d)
    plt.legend(loc="upper left")
    plt.grid(b=True)
    plt.show()

运行结果为：

实验分析：
黑色的点代表就是原始数据，我们可以看出，当深度很小的时候，决策树的分类效果相对不好，也就是纯度不高。 随着设定深度的增加，决策树的纯度越来越高，最终基本与原始数据拟合。但要注意，深度不能设定的过大，因为可能会出现过拟合的现象。

二. 随机森林

1. 定义

森林： 由树组成
随机： 生成树的数据是从数据集中随机选取的
随机森林： 是由许多决策树组成的

2. 随机森林运行机制

3. 随机森林的中心思想 —— 并行思想

因为随机森林中的树都是相互独立的，所以这些树可以在不同的机器上，或者CPU，GPU上运行，这样能极大缩短建模的时间

4. 随机森林与逻辑回归

1）分类：

• 逻辑回归： 软分类（可以设置阈值）
• 随机森林： 硬分类

2）模型：

• 逻辑回归： 线性模型
• 随机森林： 非线性模型

3）输出

• 逻辑回归： 输出有概率意义
• 随机森林： 输出无概率意义

4）抗干扰

• 逻辑回归： 抗干扰能力强
• 随机森林： 抗干扰能力弱

5. 代码实现随机森林

实验代码如下：

    from sklearn.model_selection import train_test_split
    from sklearn.tree import  DecisionTreeClassifier
    from  sklearn.metrics import  accuracy_score
    from sklearn.datasets import load_iris
    import pandas as pd
    import numpy as np
    import matplotlib.pyplot as plt
    
    iris = load_iris()
    data = pd.DataFrame(iris.data)
    data.columns= iris.feature_names
    data['Species'] = iris.target
    print(data)
    x = data.iloc[:,:2]
    y = data.iloc[:,-1]
    
    x_train , x_test,y_train,y_test = train_test_split(x,y,test_size=0.75,random_state=42)
    #创建一个决策树的模型
    tree_clf = DecisionTreeClassifier(max_depth=4,criterion='entropy')
    tree_clf.fit(x_train,y_train)
    y_test_hat = tree_clf.predict(x_test)
    # acc score: 准确率
    print("acc score: ",accuracy_score(y_test,y_test_hat))
    depth = np.arange(1,15)
    err_list = []
    for d in depth:
        clf = DecisionTreeClassifier(criterion='entropy',max_depth=d)
        clf.fit(x_train,y_train)
        y_test_hat= clf.predict(x_test)
        result = (y_test_hat ==y_test)
        err = 1-np.mean(result)
        err_list.append(err)
        print(d,"错误率：%.2f%%" %( 100 * err))
    
    plt.figure(facecolor = 'w')
    plt.plot(depth,err_list,'ro-',lw = 2)
    plt.xlabel('Decision Tree Depth', fontsize=15)
    plt.ylabel('Error Rate', fontsize=15)
    plt.title('Decision Tree Depth & Over Fit', fontsize=18)
    plt.grid(True)
    plt.show()

运行结果为：