Lesson 8.3 ID3、C4.5 决策树的建模流程 & Lesson 8.4 CART 回归树的建模流程与 sklearn 参数详解

最新推荐文章于 2023-10-09 21:47:30 发布
最新推荐文章于 2023-10-09 21:47:30 发布
阅读量1.6k 收藏 11
点赞数 7
分类专栏： 机器学习 文章标签： 决策树 回归 sklearn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45891612/article/details/129406075
版权

文章目录

  • ID3 和 C4.5 作为的经典决策树算法，尽管无法通过 sklearn 来进行建模，但其基本原理仍然值得讨论与学习。接下来我们详细介绍关于 ID3 和 C4.5 这两种决策树模型的建模基本思路和原理。
  • ID3 和 C4.5 的基本建模流程和 CART 树是类似的，也是根据纯度评估指标选取最佳的数据集划分方式，只是不过 ID3 和 C4.5 是以信息熵为评估指标。
  • 而数据集的离散特征划分方式也是一次展开一列，而不是寻找切点进行切分。我们先从 ID3 的基本原理开始介绍，随后讨论 C4.5 在 ID3 基础上的改善措施。
import numpy as np
from ML_basic_function import *

一、ID3 决策树的基本建模流程

  • ID3 是一个只能围绕离散型变量进行分类问题建模的决策树模型，即 ID3 无法处理连续型特征、也无法处理回归问题，如果带入训练数据有连续型变量，则首先需要对其进行离散化处理，也就是连续变量分箱。
  • 例如如下个人消费数据，各特征都是离散型变量，能够看出，其中 age 和 income 两列就是连续型变量分箱之后的结果，例如 age 列就是以 30、40 为界进行连续变量分箱。
  • 当然，除了如下表示外，我们还可以将分箱之后的结果直接赋予一个离散的值，如 1、2、3 等。

在这里插入图片描述

  • ID3 的生长过程其实和 CART 树基本一致，其目标都是尽可能降低数据集的不纯度，其生长的过程也就是数据集不断划分的过程。
  • 只不过 ID3 的数据集划分过程（规律提取过程）和 CART 树有所不同，CART 树是在所有特征中寻找切分点、然后再从中挑选出能够最大程度降低数据集不纯度的节分方式，换而言之就是 CART 树是按照某切分点来展开，而 ID3 则是按照列来展开，即根据某列的不同取值来对数据集进行划分。
  • 例如根据上述数据集中的 age 列的不同取值来对原始数据集进行划分，则划分结果如下：

在这里插入图片描述

  • 同样，我们可以计算在以 age 的不同取值为划分规则、对数据集进行划分后数据集整体不纯度下降结果，ID3 中采用信息熵作为评估指标，具体计算过程如下：
  • 首先计算父节点的信息熵。
# 父节点A的信息熵
ent_A = -5/14 * np.log2(5/14) - 9/14 * np.log2(9/14)
ent_A
#0.9402859586706311
  • 然后计算每个子节点的信息熵。
# 子节点B的信息熵
ent_B1 = entropy(2/5)
ent_B2 = entropy(2/5)
ent_B3 = 0
ent_B1, ent_B2, ent_B3
#(0.9709505944546686, 0.9709505944546686, 0)
  • 同样，子节点整体信息熵就是每个子节点的信息熵加权求和计算得出，其权重就是各子节点数据集数量占父节点总数据量的比例：
ent_B = ent_B1 * 5/14 + ent_B2 * 5/14 + ent_B3 * 4/14
ent_B
#0.6935361388961919
  • 然后即可算出按照如此规则进行数据集划分，最终能够减少的不纯度数值：
# 不纯度下降结果
ent_A - ent_B
#0.24674981977443922
  • 而该结果也被称为根据 age 列进行数据集划分后的信息增益（information gain），上述结果可写成Gain(age) = 0.247。
  • 当然，至此我们只计算了按照 age 列的不同取值来进行数据集划分后数据集不纯度下降结果，而按照 age 列进行展开只能算是树的第一步生长中的一个备选划分规则。
  • 此外我们还需要测试按照 income、student 或者 credit_rating 列展开后数据集不纯度下降情况，具体计算过程和 age 列展开后的计算过程类似，此处直接给出结果，Gain(income)=0.026、Gain(student)=0.151、Gain(credit_rating)=0.048。
  • 很明显，按照 age 列展开能够更有效的降低数据集的不纯度，因此树的第一层生长就是按照 age 列的不同取值对数据集进行划分。

在这里插入图片描述

  • 接下来需要继续进行迭代，通过观察我们不难发现，对于数据集 B1 来说来说，按照 student 这一列来进行展开，能够让子节点的信息熵归零，而数据集 B2 按照如果按照 credit_rating 来展开，也同样可以将子节点的标签纯度提高至 100%。因此该模型最终树的生长形态如下：

在这里插入图片描述

  • 至此，我们就完成了 ID3 决策树的建模全流程，具体模型结果解读和 CART 树完全一样，此处不做赘述。
  • 接下来简单对比 ID3 和 CART 树之间的差异：首先，由于 ID3 是按照列来提取规则、每次展开一列，因此每一步生长会有几个分支，其实完全由当前列有几个分类水平决定，而 CART 树只能进行二叉树的生长。
  • 其次，由于 ID3 每次展开一列，因此建模过程中对列的消耗非常快，数据集中特征个数就决定了树的最大深度，相比之下 CART 树的备选规则就要多的多，这也使得 CART 树能够进行更加精细的规则提取。
  • 当然，尽管 CART 树和 ID3 存在着基本理论层面的差异，但有的时候也能通过 CART 树的方法来挖掘出和 ID3 决策树相同的规律，例如 ID3 中按照 age 列一层展开所提取出的三个分类规则，也可以在 CART 树中通过两层树来实现，例如第一层按照是否是 <=30 来进行划分、第二层围绕不满足第一层条件的数据集进一步根据是否 > 40来进行划分。
  • 此外，需要注意的是，正因为 ID3 是按照列来进行展开，因此只能处理特征都是离散变量的数据集。另外，根据 ID3 的建模规则我们不难发现，ID3 树在实际生长过程中会更倾向于挑选取值较多的分类变量展开。
  • 但如此一来便更加容易造成模型过拟合，而遗憾的是 ID3 并没有任何防止过拟合的措施。而这些 ID3 的缺陷，则正是 C4.5 算法的改进方向。
  • 当然，对于 ID3 来说，规则是和分类变量的取值一一绑定的，

二、C4.5 决策树的基本建模流程

  • 作为 ID3 的改进版算法，C4.5 在 ID3 的基础上进行了三个方面的优化，首先在衡量不纯度降低的数值计算过程中引入信息值（information value，也被称为划分信息度、分支度等）概念来修正信息熵的计算结果，以抑制 ID3 更倾向于寻找分类水平较多的列来展开的情况，从而间接抑制模型过拟合倾向。
  • 其二则是新增了连续变量的处理方法，也就是 CART 树中寻找相邻取值的中间值作为切分点的方法。
  • 其三是加入了决策树的剪枝流程，使得模型泛化能力能够得到进一步提升。但需要注意的是，尽管有如此改进，但 C4.5 仍然只能解决分类问题，其本质仍然还是一种分类树。接下来我们详细讨论 C4.5 的具体改进策略。

1. 信息值（information value）

  • C4.5 中信息值（以下简称IV值）是一个用于衡量数据集在划分时分支个数的指标，如果划分时分支越多，IV值就越高。具体IV值的计算公式如下： I n f o r m a t i o n   V a l u e = − ∑ i = 1 K P ( v i ) l o g 2 P ( v i ) Information\ Value = -\sum^K_{i=1}P(v_i)log_2P(v_i) Information Value=−i=1∑K​P(vi​)log2​P(vi​)
  • IV 值计算公式和信息熵的计算公式基本一致，只是具体计算的比例不再是各类样本所占比例，而是各划分后子节点的数据所占比例，或者说信息熵是计算标签不同取值的混乱程度，而 IV 值就是计算特征不同取值的混乱程度。
  • 其中 K 表示某次划分是总共分支个数， v i v_i vi​ 表示划分后的某样本， P ( v i ) P(v_i) P(vi​) 表示该样本数量占父节点数据量的比例。对于如下三种数据集划分情况，简单计算 IV 值：
# 父节点按照50%-50%进行划分
- (1/2 * np.log2(1/2) + 1/2 * np.log2(1/2))
#1.0

# 父节点按照1/4-1/2-1/4进行划分
- (1/4 * np.log2(1/4) + 1/2 * np.log2(1/2)+ 1/4 * np.log2(1/4))
#1.5

# 父节点按照1/4-1/4-1/4-1/4进行划分
- (1/4 * np.log2(1/4) + 1/4 * np.log2(1/4) + 1/4 * np.log2(1/4) + 1/4 * np.log2(1/4))
#2.0
  • 而在实际建模过程中，ID3 是通过信息增益的计算结果挑选划分规则，而 C4.5 采用 IV 值对信息增益计算结果进行修正，构建新的数据集划分评估指标：增益比例（Gain Ratio，被称为获利比例或增益率），来指导具体的划分规则的挑选。GR 的计算公式如下： G a i n   R a t i o = I n f o r m a t i o n   G a i n I n f o r m a t i o n   V a l u e Gain\ Ratio = \frac{Information\ Gain}{Information\ Value} Gain Ratio=Information ValueInformation Gain​
  • 也就是说，在 C4.5 的建模过程中，需要先计算 GR，然后选择 GR 计算结果较大的列来执行这一次展开。例如对于上述例子来看，以 age 列展开后 Information Gain 结果为：
IG = ent_A - ent_B
IG
0.24674981977443922

在这里插入图片描述

  • 而 IV 值为：
IV = - (5/14 * np.log2(5/14) + 5/14 * np.log2(5/14)+ 4/14 * np.log2(4/14))
IV
#1.5774062828523454
  • 因此计算得到 GR 值为：
GR = IG / IV
GR
#0.1564275624211752
  • 然后据此进一步计算其他各列展开后的 GR 值，并选择 GR 较大者进行数据集划分。

2. C4.5 的连续变量处理方法

  • C4.5 允许带入连续变量进行建模，并且围绕连续变量的规则提取方式和此前介绍的 CART 树一致。即在连续变量中寻找相邻的取值的中间点作为备选切分点，通过计算切分后的 GR 值来挑选最终数据集划分方式。
  • 当然，基于连续变量的备选切分方式也要和离散变量的切分方式进行横向比较，到底是一次展开一个离散列还是按照连续变量的某个切点展开，要根据最终 GR 的计算结果来决定。
  • 例如，如果将上述数据集的 age 列换成连续变量，则我们需要计算的 GR 情况就变成了 GR(income)、GR(student)、GR(credit_rating)、GR(age<=26.5)、GR(age<=27.5)…

在这里插入图片描述

  • 当然，由于 C4.5 的离散变量和连续变量提取规则方式不同，离散变量是一次消耗一列来进行展开（有可能多分叉），而连续变量则一次消耗一个切分点，因此和 CART 树一样、同一个连续变量可以多次指导数据集进行划分。

三、CART 回归树的基本建模流程

  • 接下来，我们继续讨论关于 CART 回归树的相关内容。
  • 根据此前介绍，CART 树能同时解决分类问题和回归问题，但由于两类问题的性质还是存在一定的差异，因此 CART 树在处理不同类型问题时相应建模流程也略有不同，当然对应的 sklearn 中的评估器也是不同的。
  • 并且值得一提的是，尽管回归树单独来看是解决回归类问题的模型，但实际上回归树其实是构建梯度提升树（GBDT，一种集成算法）的基础分类器，并且无论是解决回归类问题还是分类问题，CART 回归树都是唯一的基础分类器，因此哪怕单独利用回归树解决问题的场景并不多见，但对于 CART 回归树的相关方法仍然需要重点掌握，从而为后续集成算法的学习奠定基础。
  • 本节我们将在 CART 分类树的基础之上详细讨论 CART 树在处理回归问题时的基本流程，并详细介绍关于 CART 回归树在 sklearn 中评估器的的相关参数与使用方法。
# 科学计算模块
import numpy as np
import pandas as pd
​
# 绘图模块
import matplotlib as mpl
import matplotlib.pyplot as plt
​
# 自定义模块
from ML_basic_function import *
​
# Scikit-Learn相关模块
# 评估器类
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import GridSearchCV
from sklearn import tree
from sklearn.tree import DecisionTreeClassifier,DecisionTreeRegressor
​
# 实用函数
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
​
# 数据准备
from sklearn.datasets import load_iris
  • 同样，我们先从一个极简的例子来了解 CART 回归树的基本建模流程，然后再介绍通过数学语言描述得更加严谨的建模流程。

1. 数据准备

  • 首先我们创建一个简单的回归数据集如下，该数据集只包含一个特征和一个连续型标签：

在这里插入图片描述

data = np.array([[1, 1], [2, 3], [3, 3], [4, 6], [5, 6]])
plt.scatter(data[:, 0], data[:, 1])

在这里插入图片描述

  • 其中横坐标代表数据集特征，纵坐标代表数据集标签。

2. 生成备选规则

  • CART 回归树和分类树流程类似，从具体操作步骤来看，首先都是寻找切分点对数据集进行切分，或者说需要确定备选划分规则。
  • 回归树中寻找切分点的方式和分类树的方式相同，都是逐特征寻找不同取值的中间点作为切分点。对于上述数据集来说，由于只有一个特征，并且总共有 5 个不同的取值，因此切分点有 4 个。
  • 而根据此前介绍，有几个切分点就有几种数据集划分方式、即有同等数量的备选划分规则、或有同等数量的树的生长方式。初始数据集的 4 个不同的划分方式，可以通过如下方式进行呈现：
y_range = np.arange(1, 6, 0.1)

plt.subplot(221)
plt.scatter(data[:, 0], data[:, 1])
plt.plot(np.full_like(y_range, 1.5), y_range, 'r--')
plt.subplot(222)
plt.scatter(data[:, 0], data[:, 1])
plt.plot(np.full_like(y_range, 2.5), y_range, 'r--')
plt.subplot(223)
plt.scatter(data[:, 0], data[:, 1])
plt.plot(np.full_like(y_range, 3.5), y_range, 'r--')
plt.subplot(224)
plt.scatter(data[:, 0], data[:, 1])
plt.plot(np.full_like(y_range, 4.5), y_range, 'r--')

在这里插入图片描述

3. 挑选规则

  • 在确定了备选划分规则之后，接下来需要根据某种评估标准来寻找最佳划分方式。、回归树的该步骤和分类树差异较大，分类树中我们是采用基尼系数或者信息熵来衡量划分后数据集标签不纯度下降情况来挑选最佳划分方式，而在回归树中，则是根据划分之后子数据集 MSE 下降情况来进行最佳划分方式的挑选。
  • 在该过程中，子数据集整体的 MSE 计算方法也和 CART 分类树类似，都是先计算每个子集单独的 MSE，然后再通过加权求和的方法来进行计算两个子集整体的 MSE。
  • 此处 MSE 的计算虽然不复杂，但我们知道，但凡需要计算 MSE，就必须给出一个预测值，然后我们才能根据预测值和真实值计算 MSE。
  • 而 CART 回归树在进行子数据集的划分之后，会针对每个子数据集给出一个预测值（注意是针对一个子数据集中所有数据给出一个预测值，而不是针对每一个数给出一个预测值），而该预测值会依照让对应子数据集 MSE 最小的目标进行计算得出。
  • 让 MSE 取值最小这一目标其实等价于让 SSE 取值最小，而用一个数对一组数进行预测并且要求 SSE 最小，其实就相当于 K-Means 快速聚类过程中所要求的寻找组内误差平方和最小的点作为中心点，我们曾在 Lesson 7 中进行过相关数学推导，此时选取这组数的质心能够让组内误差平方和计算结果最小。
  • 而此时情况也是类似，只不过我们针对一组一维的数据去寻找一个能够使得组内误差平方和的最小的点，这个点仍然是这组数据的质心，而一维数据的质心，其实就是这组数据的均值。那么也就是说，在围绕让每一个子数据集 MSE 取值最小这一目标下，每个子数据集的最佳预测值就是这个子数据集真实标签的均值。
  • 具体计算过程如下，例如对上述第一种划分数据集的情况来说，每个子数据集的预测值和 MSE 计算结果如下：
plt.scatter(data[:, 0], data[:, 1])
plt.plot(np.full_like(y_range, 1.5), y_range, 'r--')

在这里插入图片描述

  • 对应划分情况也可以通过如下形式进行表示：

在这里插入图片描述

  • 此时可计算子数据集 B1 和 B2 的 MSE，首先是两个数据集的预测值，也就是两个数据集的均值：
data[0, 1]
#1

# B1数据集的预测值
y_1 = np.mean(data[0, 0])
y_1
#1.0

data[1: , 1]
#array([3, 3, 6, 6])

# B2数据集的预测值
y_2 = np.mean(data[1: , 1])
y_2
#4.5

# 模型预测结果
plt.scatter(data[:, 0], data[:, 1])
plt.plot(np.full_like(y_range, 1.5), y_range, 'r--')
plt.plot(np.arange(0, 1.5, 0.1), np.full_like(np.arange(0, 1.5, 0.1), y_1), 'r-')
plt.plot(np.arange(1.7, 5.1, 0.1), np.full_like(np.arange(1.7, 5.1, 0.1), y_2), 'r-')

在这里插入图片描述

  • 然后计算两个子集的 MSE：
# B1的MSE
mse_b1 = 0

# B2的MSE
mse_b2 = np.power(data[1: , 1] - 4.5, 2).sum() / 4
mse_b2
#2.25
  • 然后和 CART 分类树一样，以各子集所占全集的样本比例为权重，通过加权求和的方式计算两个子集整体的 MSE：
mse_b = 1/5 * mse_b1 + 4/5 * mse_b2
mse_b
#1.8
  • 而父节点的 MSE 为：
data[: , 1].mean()
#3.8

mse_a = np.power(data[: , 1] - data[: , 1].mean(), 2).sum() / data[: , 1].size
mse_a
#3.7599999999999993
  • 因此，本次划分所降低的 MSE 为：
mse_a - mse_b
#1.9599999999999993
  • 即为该种划分方式的最终评分。当然，我们要以相似的流程计算其他几种划分方式的评分，然后从中挑选能够最大程度降低 MSE 的划分方式，基本流程如下：
impurity_decrease = []
​
for i in range(4):
    # 寻找切分点
    splitting_point = data[i: i+2 , 0].mean()
    
    # 进行数据集切分
    data_b1 = data[data[:, 0] <= splitting_point]
    data_b2 = data[data[:, 0] > splitting_point]
    
    # 分别计算两个子数据集的MSE
    mse_b1 = np.power(data_b1[: , 1] - data_b1[: , 1].mean(), 2).sum() / data_b1[: , 1].size
    mse_b2 = np.power(data_b2[: , 1] - data_b2[: , 1].mean(), 2).sum() / data_b2[: , 1].size
    
    # 计算两个子数据集整体的MSE
    mse_b = data_b1[: , 1].size/data[: , 1].size * mse_b1 + data_b2[: , 1].size/data[: , 1].size * mse_b2
    #mse_b = mse_b1 + mse_b2
    
    # 计算当前划分情况下MSE下降结果
    impurity_decrease.append(mse_a - mse_b)

impurity_decrease
#[1.9599999999999993, 2.1599999999999993, 3.226666666666666, 1.209999999999999]

plt.subplot(221)
plt.scatter(data[:, 0], data[:, 1])
plt.plot(np.full_like(y_range, 1.5), y_range, 'r--')
plt.subplot(222)
plt.scatter(data[:, 0], data[:, 1])
plt.plot(np.full_like(y_range, 2.5), y_range, 'r--')
plt.subplot(223)
plt.scatter(data[:, 0], data[:, 1])
plt.plot(np.full_like(y_range, 3.5), y_range, 'r--')
plt.subplot(224)
plt.scatter(data[:, 0], data[:, 1])
plt.plot(np.full_like(y_range, 4.5), y_range, 'r--')

在这里插入图片描述

  • 根据最终结果能够看出，第三种划分情况能够最大程度降低 MSE，即此时树模型的第一次生长情况如下：

在这里插入图片描述

4. 进行多轮迭代

  • 当然，和 CART 分类树一样，接下来，我们就能够进一步围绕 B1 和 B2 进行进一步划分。此时 B2 的 MSE 已经为 0，因此无需再进行划分，而 B1 的 MSE 为 0.88，还可以进一步进行划分。
  • 当然 B1 的划分过程也和 A 数据集的划分过程一致，寻找能够令子集 MSE 下降最多的方式进行切分。不过由于 B1 数据集本身较为简单，通过观察不难发现，我们可以以 x<= 1.5 作为划分条件对其进行切分，进一步切分出来的子集的 MSE 都将取值为 0。

在这里插入图片描述

  • 此外，我们也可以观察当回归树生长了两层之后，相关规则对原始数据集的划分情况：
# 数据分布
plt.scatter(data[:, 0], data[:, 1])
​
# 两次划分
plt.plot(np.full_like(y_range, 3.5), y_range, 'r--')
plt.plot(np.full_like(y_range, 1.5), y_range, 'r--')
​
# 预测结果
plt.plot(np.arange(1, 1.5, 0.1), np.full_like(np.arange(1, 1.5, 0.1), 1), 'r-')
plt.plot(np.arange(1.5, 3.5, 0.1), np.full_like(np.arange(1.5, 3.5, 0.1), 3), 'r-')
plt.plot(np.arange(3.5, 5, 0.1), np.full_like(np.arange(3.5, 5, 0.1), 6), 'r-')

在这里插入图片描述

  • 不难发现，回归树的对标签的预测，实际上是一种分区定值的预测，建模过程的实际表现是对样本进行划分、然后每个区间给定一个预测值，并且树的深度越深、对样本空间的划分次数就越多、样本空间就会被分割成更多的子空间。
  • 在 sklearn 的说明文档中也有相关例子：

在这里插入图片描述

5. 回归树的预测过程

  • 而一旦当模型已经构建完成后，回归树的预测过程其实和分类树非常类似，新数据只要根据划分规则分配到所属样本空间，则该空间模型的预测结果就是该数据的预测结果。
  • 至此，我们就在一个极简的数据集上完成了 CART 回归树的构建。不难发现，回归树和分类树的构建过程大致相同、迭代过程也基本一致，我们可以将其视作同一种建模思想的两种不同实现形式。

四、CART 回归树的 Scikit-Learn 实现方法

1. CART 回归树的 sklearn 快速实现

  • 接下来，我们尝试在 sklearn 中调用回归树评估器围绕上述数据集进行建模，并对上述过程进行简单验证。回归树也是在 tree 模块下，我们可以通过如下方式进行导入：
from sklearn.tree import DecisionTreeRegressor
  • 然后进行模型训练：
clf = DecisionTreeRegressor().fit(data[:, 0].reshape(-1, 1), data[:, 1])
# 同样可以借助tree.plot_tree进行结果的可视化呈现

plt.figure(figsize=(6, 2), dpi=150)
tree.plot_tree(clf)
#[Text(418.5, 188.75, 'X[0] <= 3.5\nmse = 3.76\nsamples = 5\nvalue = 3.8'),
# Text(279.0, 113.25, 'X[0] <= 1.5\nmse = 0.889\nsamples = 3\nvalue = 2.333'),
# Text(139.5, 37.75, 'mse = 0.0\nsamples = 1\nvalue = 1.0'),
# Text(418.5, 37.75, 'mse = 0.0\nsamples = 2\nvalue = 3.0'),
# Text(558.0, 113.25, 'mse = 0.0\nsamples = 2\nvalue = 6.0')]

在这里插入图片描述

  • 发现和我们手动实现过程一致。

2. CART 回归树评估器的参数解释

  • 接下来，详细讨论关于 CART 回归树评估器中的相关参数。尽管 CART 回归树和分类树是由不同评估器实现相关过程，但由于两种模型基本理论一致，因此两种不同评估器的参数也大都一致。
DecisionTreeRegressor?
  • 不难发现，其中大多数参数我们在 Lesson 8.2 中都进行了详细的讲解，此处重点讲解 criterion 参数取值。criterion 是备选划分规则的选取指标，对于 CART 分类树来说默认基尼系数、可选信息熵。
  • 而对于 CART 回归树来说默认 mse，同时可选 mae 和 friedman_mse，同时在新版 sklearn 中，还加入了 poisson 作为可选参数取值。接下来我们就这几个参数不同取值进行介绍：

2.1 criterion=‘mse’ 情况

  • 当 criterion 取值为 mse 时当然是计算误差平方和再除以样本总数，其基本计算流程与上述手动实现过程层类似。但有一点可能会对阅读源码的同学造成困扰，那就是在源码中子节点整体的 MSE 计算公式描述如下：

在这里插入图片描述

  • 尽管上述公式看起来像是子节点的整体 MSE 就等于左右两个节点的方差只和，但实际上是经过加权之后的方差只和。我们可以通过在手动实现过程中灵活调整 min_impurity_decrease 参数来进行验证。
  • 需要注意的是，CART 回归树的子节点整体 MSE 的计算方式是加权求和还是简单求和，不同的材料中有不同的描述，例如由 Aurélien Géron 等人所著《机器学习实战，基于 Scikit-Learn、Keras 和 TensorFlow 》一书中表示是通过加权求和方式算得，而在《统计学习方法》一书中则表示是根据子节点的 MSE 直接求和得到。

2.2 criterion=‘mae’ 情况

  • 和 MSE 不同，MAE 实际上计算的是预测值和真实值的差值的绝对值再除以样本总数，即可以通过如下公式计算得出： M A E = 1 m ∑ i = 1 m ∣ ( y i − y ^ i ) ∣ MAE = \frac{1}{m}\sum^m_{i=1}|(y_i-\hat y _i)| MAE=m1​i=1∑m​∣(yi​−y^​i​)∣
  • 也就是说，MSE 是基于预测值和真实值之间的欧式距离进行的计算，而 MAE 则是基于二者的街道距离进行的计算，很多时候，MSE 也被称为 L2 损失，而 MAE 则被称为 L1 损失。
  • 需要注意的是，当 criterion 取值为 mae 时，为了让每一次划分时子集内的 MAE 值最小，此时每个子集的模型预测值就不再是均值，而是中位数。
  • 再次强调，CART 回归树的 criterion 不仅是划分方式挑选时的评估标准，同时也是划分子数据集后选取预测值的决定因素。
  • 也就是说，对于回归树来说，criterion 的取值其实决定了两个方面，其一是决定了损失值的计算方式、其二是决定了每一个数据集的预测值的计算方式——数据集的预测值要求 criterion 取值最小，如果 criterion=mse，则数据集的预测值要求在当前数据情况下 mse 取值最小，此时应该以数据集的标签的均值作为预测值；而如果 criterion=mse，则数据集的预测值要求在当前数据情况下 mae 取值最小，此时应该以数据集标签的座位数作为预测值。
  • 并且一般来说，如果希望模型对极端值（非常大或者非常小的值，也被称为离群值）的忍耐程度比较高，整体建模过程不受极端值影响，可以考虑使用 mae 参数（就类似于中位数会更少的受到极端值的影响），此时模型一般不会为极端值单独设置规则。
  • 而如果希望模型具备较好的识别极端值的能力，则可以考虑使用 mse 参数，此时模型会更大程度受到极端值影响（就类似于均值更容易受到极端值影响），更大概率会围绕极端值单独设置规则，从而帮助建模者对极端值进行识别。

2.3 criterion=‘friedman_mse’ 情况

  • friedman_mse 是一种基于 mse 的改进型指标，是由 GBDT（梯度提升树，一种集成算法）的提出者 friedman 所设计的一种残差计算方法，是 sklearn 中树梯度提树默认的 criterion 取值，对于单独的树决策树模型一般不推荐使用。
  • 关于 friedman_mse 的计算方法我们将在集成算法中进行详细介绍。
虚心求知的熊
关注
专栏目录
决策树建模过程
m0_46427302的博客
12-06 3106
决策树建模过程 1、第一阶段----环境准备 在这个阶段中，我们需要准备SparkSession和SparkContext，以及设置日志级别 必要的时候导入SparkSession隐式转化 2、第二阶段----数据准备 在这个阶段中，不需要太多的操作，只需要把待处理的数据路径准备好即可，一般我们会把待处理的数据放入resource目录下 3、第三阶段----读取数据 在这个阶段中，我们需要将数据处理成DataFrame格式，主要的事情是对这份数据进行结构上的优化，比如加上表头，如果是csv格式
机器学习与算法（13）--分类和回归树（CART）
mensyne的博客
03-04 4252
分类和回归树（CART） 转自http://blog.csdn.net/baimafujinji/article/details/53269040 算法步骤 CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样的决策树等价于递归地...
决策树建模完整流程
热门推荐
ywj_1991的博客
02-21 1万+
一.数据处理,(一) 数据预处理(二)训练、测试数据分割, 二.试探建模极限, 三.参数调优(预剪枝),1.参数网络扫描,2.参数评估,3.待调优参数列表 四.后剪枝调优,(一) 打印决策树相关信息,(二) 剪枝,五.模型提取,决策树建模完整流程主要有五个： 1.数据处理,2.试探建模极限,3.参数调优,4.后剪枝,5.模型提取本文只作流程介绍，完整代码见《决策树建模完整代码》
sklearn决策树回归树详解，及波士顿房价预测，正弦曲线预测,及交叉验证实现
R18830287035的博客
04-11 5647
DecisionTreeRegressor class sklearn.tree.DecisionTreeRegressor (criterion=’mse’, splitter=’best’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=No...
2021-04-24
hufushen的博客
04-24 139
决策树 – 回归 解决问题 实现基于特征范围的树状遍历的回归。 解决方案 通过寻找样本中最佳的特征以及特征值作为最佳分割点，构建一棵二叉树。选择最佳特征以及特征值的原理就是通过满足函数最小。其实选择的过程本质是对于训练样本的区间的分割，基于区间计算均值，最终区域的样本均值即为预测值。 在预测的时候，将会根据提供的样本的特征，来遍历二叉树（确定区域的过程），其中叶子节点的值就是预测值。 构建回归决策树，过程，其实可以理解对训练样本进行监督式聚类，每个分类都是有一组特征逻辑范围做描述；预测的时候，其实就是在匹配
Lesson 1.机器学习基本概念与建模流程(1).ipynb
最新发布
06-08
Lesson 1.机器学习基本概念与建模流程(1).ipynb
lesson9（插值与数据拟合建模）.pdf数学建模
08-13
插值与数据拟合建模是数学建模的重要组成部分，它们旨在通过已知数据点推断出一组数据背后所代表的函数关系或模式。插值主要用于寻找一个能够精确地通过所有给定点的函数，而数据拟合则更加注重于寻找一个函数，它...
lesson9（风险决策）.pdf数学建模
08-13
【风险决策】是数学建模中的一个重要概念，它涉及到在不确定性和潜在损失的情况下做出最佳决策。在本案例中，我们通过两个具体问题来探讨风险决策的运用。 **问题一：设备定期维修问题** 设备定期维修问题的核心是...
lesson3（初等模型）.pdf数学建模
08-13
"数学建模-初等模型" 数学建模是指使用数学工具和方法来描述、分析和解决实际问题的过程。初等模型是数学建模的基础，旨在建立一个简单、易于理解的数学模型来描述实际问题。 一、公平的席位分配 在席位分配问题...
lesson3（初等模型1）.pdf数学建模
08-13
在数学建模中，公平的席位分配是一个重要的议题，特别是在多方面参与的决策过程中。在初等模型中，我们通常会遇到如何根据各部分的大小来公平地分配有限资源的问题。以“公平的席位分配”为例，考虑一个学校有三个系...
决策树算法原理详解
07-03
【文档说明】 本文是自己整理的一些重点知识点，也是面试中会被问到的知识点 【文档结构】 决策树 信息熵（Entropy） 什么是决策树 决策树的构建过程 决策树分割属性选择 决策树量化纯度 决策树量化纯度 信息增益率计算方式 决策树的停止条件 决策树算法效果评估 决策树生成算法 ID3算法 ID３算法优缺点 C4.5算法 8 CART算法 8 ID3\C4.5\CART分类回归树算法总结 分类树和回归树的区别 决策树优化策略 决策树的剪枝 决策树剪枝过程 附录：
【机器学习】决策树——ID3和C4.5（理论+图解+公式推导）
CSDN 精品推荐
08-26 2502
如果需要完整代码可以关注下方公众号，后台回复“代码”即可获取，阿光期待着您的光临~ 文章目录一、概述二、算法流程1.决策树的if-then准则2.过拟合现象3.特征空间的划分4.特征选择准则4.1 信息熵4.2 信息增益4.3 信息增益比（增益率）三、ID3决策树四、C4.5决策树五、剪枝算法1.预剪枝2.后剪枝 2021人工智能领域新星创作者，带你从入门到精通，该博客每天更新，逐渐完善机器学习各个知识体系的文章，帮助大家更高效学习。 一、概述 决策树是一类非常经典的算法，很多集成模型的基学习器.
决策树（ID3，C4.5，CART算法具体过程）
糖葫芦君的博客
07-16 7522
  1.介绍 1.1 定义 决策树模型是一种描述对实例进行分类的树形结构，决策树由结点和有向边组成。其中结点有两种类型：内部结点和叶节点。内部结点表示一个特征或属性，叶节点表示一个类。 在分类问题中，就表示基于特征对实例进行分类的过程。用决策树分类，从根节点开始，对实例的某一特征进行测试，根据测试结果将实例分配到其子节点。每一个子节点对应着特征的一个取值。如此递归的对实例进行测试分配，...
Cart决策树算法
bug永流传
01-19 849
Cart（Classification And Regression Tree）决策树作为决策树算法分支的一类，是一类非线性的模型，从CART决策树的全称不难看出这是一类可用于分类与回归的决策树。 CART算法主要由以下两步组成： 决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大。 决策树剪枝：用验证数据集对已生成的树进行剪枝并选择最优子树，这时用损失函数最小作为剪枝的标准。 CAR...
CART 算法——决策树
laosao_66的博客
10-09 4277
CART是英文“classification and regression tree”的缩写，翻译过来是分类与回归树，与前面说到的ID3、C4.5一致，都是决策树生成的一种算法，同样也由特征选择、树的生成以及剪枝组成，既可以用于分类也可以用于回归。CART算法由决策树的生成以及决策树剪枝两部分组成。决策树的生成就是递归地构建二叉决策树的过程。对回归树用平方差最小化准则，对分类树用基尼指数最小化准则，进行特征选择，生成二叉树。分类树与回归树的一个区别是：如果目标变量是，如果目标变量是。
【机器学习】决策树如何实现回归
Danger的博客
05-05 2012
【机器学习】决策树如何实现回归
决策树的算法流程图（ID3/C4.5/CART）
qq_43517635的博客
05-08 9360
决策树之CART 算法
VEGIOS的博客
09-10 5873
我们可以把决策树分为 ID3 算法、C4.5 算法和 CART 算法。今天我来带你学习 CART 算法。CART 算法，英文全称叫做 Classification And Regression Tree，中文叫做分类回归树。ID3 和 C4.5 算法可以生成二叉树或多叉树，而 CART 只支持二叉树。同时 CART 决策树比较特殊，既可以作分类树，又可以作回归树。 什么是分类树，什么是回归树呢？我用下面的训练数据举个例子，你能看到不同职业的人，他们的年龄不同，学习时间也不同。如果我构造了一棵决策树，想要基于
决策树一CART算法(第一部分)
躺平yyds的博客
05-09 2054
决策树一CART算法(第一部分) CART算法简介 CART算法是机器学习十大算法之一，这个方法的创始人Leo Breiman CART算法展开就是Classification and Regression Tree，对应的就是分类与回归树，用树 形结构来解决分类和回归的问题。 如果输出变量是离散的，对应的就是分类问题。 如果输出变量是连续的，对应的就是回归问题。 CART算法分为三步走：选择特征、生成决策树、剪枝 在CART算法中，树形结构是二叉树模型，通常左边为「是 」，右 边为
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

虚心求知的熊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值