机器学习（四）：CART回归树（基础篇）

最新推荐文章于 2024-07-02 14:27:14 发布
最新推荐文章于 2024-07-02 14:27:14 发布
阅读量2.1k 收藏 14
点赞数 4
分类专栏： # 机器学习 文章标签： 机器学习CART回归树 CART回归树 回归决策树 CART回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43634001/article/details/95315992
版权

机器学习（四）CART回归树（基础篇）

在这里插入图片描述
相关的决策树文章：

回归CART(Classification And Regression Trees)

之前的文章，我们学习了ID3决策树，和C4.5决策树以及CART分类树进行分类。决策树不断将数据切分成小数据，直到所有目标标量完全相同，或者数据不能再切分为止。决策树是一种贪心算法，它要在一定情况下做出最佳的选择。

1. ID3算法的弊端

回忆一下，决策树的树构建算法是ID3和C4.5。ID3和C4.5的做法是每次选取当前最佳的特征来分割数据，并按照该特征的所有可能取值来切分。也就是说，如果一个特征有4种取值，那么数据将被切分成4份。一旦按某特征切分后，该特征在之后的算法执行过程中将不会再起作用，所以有观点认为这种切分方式过于迅速。

除了切分过于迅速外，ID3算法还存在另一个问题，它不能直接处理连续型特征。只有事先将连续型特征离散化，才能在ID3算法中使用。但这种转换过程会破坏连续型变量的内在特性。

2. CART算法

与ID3算法相反，CART算法正好适用于连续型特征。CART算法使用二元切分法来处理连续型变量。而使用二元切分法则易于对树构建过程进行调整以处理连续型特征。具体的处理方法是：如果特征值大于给定值就走左子树，否则就走右子树。

CART算法有两步：

  • 决策树生成：递归地构建二叉决策树的过程，基于训练数据集生成决策树，生成的决策树要尽量大；自上而下从根开始建立节点，在每个节点处要选择一个最好的属性来分裂，使得子节点中的训练集尽量的纯。不同的算法使用不同的指标来定义"最好"：
  • 决策树剪枝：用验证数据集对已生成的树进行剪枝并选择最优子树，这时损失函数最小作为剪枝的标准。

我们先看看决策树的生成：
在决策树的文章中，我们先根据信息熵的计算找到最佳特征切分数据集构建决策树。CART算法的决策树生成也是如此，实现过程如下：

  • 使用CART算法选择特征
  • 根据特征切分数据集合
  • 构造树

函数一：根据特征切分数据集合

CART算法这里涉及到算法，实现起来复杂些，我们先挑个简单的，即根据特征切分数据集合。编写代码如下：

import numpy as np

def binSplitDataSet(dataSet, feature, value):
    """
    函数说明：根据特征切分数据
    :param dataSet: 数据集
    :param feature: 切分的特征
    :param value: 该特征的值
    :return:
    """
    mat0 = dataSet[np.nonzero(dataSet[:, feature] > value)[0], :]
    mat1 = dataSet[np.nonzero(dataSet[:, feature] <= value)[0], :]
    return mat0, mat1

if __name__ == '__main__':
    testMat = np.mat(np.eye(4))
    mat0, mat1 = binSplitDataSet(testMat, 1, 0.5)
    print('原始集合:\n', testMat)
    print('mat0:\n', mat0)
    print('mat1:\n', mat1)

我们看看结果：
在这里插入图片描述
在这里我们先创建了一个单位矩阵，然后根据切分的规则，对数据矩阵进行切分，可以看到函数根据特定的数据规则，对数据矩阵进行了切分。

从结果我们可以看出来，我们已经可以根据特征和特征值对数据进行切分了，mat0存放的大于指定特征值的矩阵，mat1存放的是小于指定特定值的矩阵。

CART算法

假设X与Y分别为输入和输出变量，并且Y是连续变量，给定训练集：
D = ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . . , ( x n , y n ) D={(x_1,y_1),(x_2,y_2),....,(x_n,y_n)} D=(x1​,y1​),(x2​,y2​),....,(xn​,yn​)
其中，D表示整个数据集合，n为特征数

一个回归树对应着输入空间（即特征空间）的一个划分以及划分的单元上的输出值。假设已将输入空间划分为M个单元R1,R2,…Rm,并且在每一个单元Rm上有一个固定的输出值Cm，于是回归模型可表示为：
在这里插入图片描述
这样就可以计算模型输出值与实际值的误差：
在这里插入图片描述
我们希望每个单元上的Cm，可以的是这个误差平方误差最小化，当Cm为相应单元的所有实际值的均值时，可以得到最优
在这里插入图片描述
那么如何生成这些单元划分？
假设，我们选择变量 xj 为切分变量，它的取值 s 为切分点，那么就会得到两个区域：
在这里插入图片描述
当j和s固定时，我们要找到两个区域的代表值c1，c2使各自区间上的平方差最小：
在这里插入图片描述
前面几经直到C1， C2为区间上的平均：
在这里插入图片描述
那么对固定的 j 只需要找到最优的s，然后通过遍历所有的变量，我们可以找到最优的j，这样我们就可以得到最优对（j，s），并得到两个区间。
这样的回归树通常称为最小二乘回归树（least squares regression tree）。

上述过程表示的算法步骤为：
输入：训练数据集D；
输出：回归树 f ( x ) f(x) f(x)
在训练数据即所在的输入空间中，递归地将每一个区域划分为两个子区域并决定每个子区域上地输出值，构建决策树
（1）选择罪域切分变量j与切分点s，求解
在这里插入图片描述
遍历变量j，对固定地切变量j扫描切分点s，选择使式达到最小值地对（j，s）
（2）用选定的对（j，s）划分区域并决定相应的输出值：
在这里插入图片描述
在这里插入图片描述
（3）继续对两个子区域调用步骤（1）（2），直至满足停止条件
（4）将输入空间划分为M个区域 R 1 , R 2 , . . . R M , R_1,R_2,...R_M, R1​,R2​,...RM​,生成决策树
在这里插入图片描述
除此之外，我们再定义两个参数，tolS和tolN，分别用于控制误差变化限制和切分特征最少样本数。这两个参数的意义是什么呢？就是防止过拟合，提前设置终止条件，实际上是在进行一种所谓的预剪枝（prepruning）操作，在下一小节会进行进一步讲解。

测试集下载：数据集下载
在这里插入图片描述
将ex2.txt文件保存在同一目录下。接下来我们看一下数据分布情况：

import matplotlib.pyplot as plt
import numpy as np
 
def loadDataSet(fileName):
    """
    函数说明:加载数据
    Parameters:
        fileName - 文件名
    Returns:
        dataMat - 数据矩阵
    Website:
        https://www.cuijiahua.com/
    Modify:
        2017-12-09
    """
    dataMat = []
    fr = open(fileName)
    for line in fr.readlines():
        curLine = line.strip().split('\t')
        fltLine = list(map(float, curLine))                    #转化为float类型
        dataMat.append(fltLine)
    return dataMat
 
def plotDataSet(filename):
    """
    函数说明:绘制数据集
    Parameters:
        filename - 文件名
    Returns:
        无
    Website:
        https://www.cuijiahua.com/
    Modify:
        2017-11-12
    """
    dataMat = loadDataSet(filename)                                        #加载数据集
    n = len(dataMat)                                                    #数据个数
    xcord = []; ycord = []                                                #样本点
    for i in range(n):                                                    
        xcord.append(dataMat[i][0]); ycord.append(dataMat[i][1])        #样本点
    fig = plt.figure()
    ax = fig.add_subplot(111)                                            #添加subplot
    ax.scatter(xcord, ycord, s = 20, c = 'blue',alpha = .5)                #绘制样本点
    plt.title('DataSet')                                                #绘制title
    plt.xlabel('X')
    plt.show()
 
if __name__ == '__main__':
    filename = 'ex2.txt'
    plotDataSet(filename)

运行结果如下：
在这里插入图片描述
我们用这个数据集测试我们的CART算法。
编写代码如下：

import numpy as np
import matplotlib.pyplot as plt

def binSplitDataSet(dataSet, feature, value):
    """
    函数说明：根据特征切分数据
    :param dataSet: 数据集
    :param feature: 切分的特征
    :param value: 该特征的值
    :return:
    """
    mat0 = dataSet[np.nonzero(dataSet[:, feature] > value)[0], :]
    mat1 = dataSet[np.nonzero(dataSet[:, feature] <= value)[0], :]
    return mat0, mat1

def loadDataSet(fileName):
    """
    函数说明:加载数据
    Parameters:
        fileName - 文件名
    Returns:
        dataMat - 数据矩阵
    Website:
        https://www.cuijiahua.com/
    Modify:
        2017-12-09
    """
    dataMat = []
    fr = open(fileName)
    for line in fr.readlines():
        curLine = line.strip().split('\t')
        fltLine = list(map(float, curLine))  # 转化为float类型
        dataMat.append(fltLine)
    return dataMat

def regLeaf(dataSet):
    """
    函数说明：生成叶节点
    :param dataSet: 数据集合
    :return:
    """
    return np.mean(dataSet[:, -1])

def regErr(dataSet):
    """
    函数说明：误差估计函数
    :param dataSet:
    :return:
    """
    return np.var(dataSet[:, -1]) * np.shape(dataSet)[0]

def chooseBestSplit(dataSet, leafType = regLeaf, errType = regErr, ops=(1,4)):
    """
    函数说明：找到数据的最佳二元切分方式函数
    :param dataSet:数据集合
    :param leafType:生成叶节点
    :param errType:误差估计函数
    :param ops:用户定义的参数构成元组
    :return:
    """
    import types
    #tolS允许的误差下降值，tolN切分的最少样本数
    tolS = ops[0]; tolN = ops[1]
    #如果当前所有值相等，则退出。（根据set的特性）
    if len(set(dataSet[:, -1].T.tolist()[0])) == 1:
        return None, leafType(dataSet)
    #统计数据集合的行m和列n
    m, n = np.shape(dataSet)
    #默认最后一个特征为最佳切分特征，计算其误差
    S = errType(dataSet)
    #分别为最佳误差，最佳特征切分的索引值，最佳特征值
    bestS = float('inf'); bestIndex = 0; bestValue = 0
    #遍历所有特征列
    for featIndex in range(n-1):
        # 遍历所有特征值
        for splitVal  in set(dataSet[:, featIndex].T.A.tolist()[0]):
            # 根据特征和特征值切分数据集
            mat0, mat1 = binSplitDataSet(dataSet, featIndex, splitVal)
            # 如果数据少于tolN,则退出
            if (np.shape(mat0)[0] < tolN) or (np.shape(mat1)[0] < tolN): continue
            # 计算误差估计
            newS = errType(mat0) + errType(mat1)
            # 如果误差估计更小,则更新特征索引值和特征值
            if newS < bestS:
                bestIndex = featIndex
                bestValue = splitVal
                bestS = newS
    # 如果误差减少不大则退出
    if (S - bestS) < tolS:
        return None, leafType(dataSet)
    # 根据最佳的切分特征和特征值切分数据集合
    mat0, mat1 = binSplitDataSet(dataSet, bestIndex, bestValue)
    # 如果切分出的数据集很小则退出
    if (np.shape(mat0)[0] < tolN) or (np.shape(mat1)[0] < tolN):
        return None, leafType(dataSet)
    # 返回最佳切分特征和特征值
    return bestIndex, bestValue

if __name__ == '__main__':
    myDat = loadDataSet('ex2.txt')
    myMat = np.mat(myDat)
    feat, val = chooseBestSplit(myMat, regLeaf, regErr, (1, 4))
    print(feat)
    print(val)

输出结果为：
在这里插入图片描述
可以看到，切分的最佳特征为第1列特征，最佳切分特征值为0.48813，这个特征值怎么选出来的？就是根据误差估计的大小，我们选择的这个特征值可以使误差最小化。
切分的特征和特征值我们已经选择好了，接下来就是利用选出的这两个变量创建回归树了。

创建方法很简单，我们根据切分的特征和特征值切分出两个数据集，然后将两个数据集分别用于左子树的构建和右子树的构建，直到无法找到切分的特征为止。因此，我们可以使用递归实现这个过程，编写代码如下：

import numpy as np
import matplotlib.pyplot as plt

def binSplitDataSet(dataSet, feature, value):
    """
    函数说明：根据特征切分数据
    :param dataSet: 数据集
    :param feature: 切分的特征
    :param value: 该特征的值
    :return:
    """
    mat0 = dataSet[np.nonzero(dataSet[:, feature] > value)[0], :]
    mat1 = dataSet[np.nonzero(dataSet[:, feature] <= value)[0], :]
    return mat0, mat1

def loadDataSet(fileName):
    """
    函数说明:加载数据
    Parameters:
        fileName - 文件名
    Returns:
        dataMat - 数据矩阵
    Website:
        https://www.cuijiahua.com/
    Modify:
        2017-12-09
    """
    dataMat = []
    fr = open(fileName)
    for line in fr.readlines():
        curLine = line.strip().split('\t')
        fltLine = list(map(float, curLine))  # 转化为float类型
        dataMat.append(fltLine)
    return dataMat

def regLeaf(dataSet):
    """
    函数说明：生成叶节点
    :param dataSet: 数据集合
    :return:
    """
    return np.mean(dataSet[:, -1])

def regErr(dataSet):
    """
    函数说明：误差估计函数
    :param dataSet:
    :return:
    """
    return np.var(dataSet[:, -1]) * np.shape(dataSet)[0]

def chooseBestSplit(dataSet, leafType = regLeaf, errType = regErr, ops=(1,4)):
    """
    函数说明：找到数据的最佳二元切分方式函数
    :param dataSet:数据集合
    :param leafType:生成叶节点
    :param errType:误差估计函数
    :param ops:用户定义的参数构成元组
    :return:
    """
    import types
    #tolS允许的误差下降值，tolN切分的最少样本数
    tolS = ops[0]; tolN = ops[1]
    #如果当前所有值相等，则退出。（根据set的特性）
    if len(set(dataSet[:, -1].T.tolist()[0])) == 1:
        return None, leafType(dataSet)
    #统计数据集合的行m和列n
    m, n = np.shape(dataSet)
    #默认最后一个特征为最佳切分特征，计算其误差
    S = errType(dataSet)
    #分别为最佳误差，最佳特征切分的索引值，最佳特征值
    bestS = float('inf'); bestIndex = 0; bestValue = 0
    #遍历所有特征列
    for featIndex in range(n-1):
        # 遍历所有特征值
        for splitVal  in set(dataSet[:, featIndex].T.A.tolist()[0]):
            # 根据特征和特征值切分数据集
            mat0, mat1 = binSplitDataSet(dataSet, featIndex, splitVal)
            # 如果数据少于tolN,则退出
            if (np.shape(mat0)[0] < tolN) or (np.shape(mat1)[0] < tolN): continue
            # 计算误差估计
            newS = errType(mat0) + errType(mat1)
            # 如果误差估计更小,则更新特征索引值和特征值
            if newS < bestS:
                bestIndex = featIndex
                bestValue = splitVal
                bestS = newS
    # 如果误差减少不大则退出
    if (S - bestS) < tolS:
        return None, leafType(dataSet)
    # 根据最佳的切分特征和特征值切分数据集合
    mat0, mat1 = binSplitDataSet(dataSet, bestIndex, bestValue)
    # 如果切分出的数据集很小则退出
    if (np.shape(mat0)[0] < tolN) or (np.shape(mat1)[0] < tolN):
        return None, leafType(dataSet)
    # 返回最佳切分特征和特征值
    return bestIndex, bestValue


def createTree(dataSet, leafType=regLeaf, errType=regErr, ops=(1, 4)):
    """
    函数说明:树构建函数
    Parameters:
        dataSet - 数据集合
        leafType - 建立叶结点的函数
        errType - 误差计算函数
        ops - 包含树构建所有其他参数的元组
    Returns:
        retTree - 构建的回归树
    Website:
        https://www.cuijiahua.com/
    Modify:
        2017-12-12
    """
    # 选择最佳切分特征和特征值
    feat, val = chooseBestSplit(dataSet, leafType, errType, ops)
    # r如果没有特征,则返回特征值
    if feat == None: return val
    # 回归树
    retTree = {}
    retTree['spInd'] = feat
    retTree['spVal'] = val
    # 分成左数据集和右数据集
    lSet, rSet = binSplitDataSet(dataSet, feat, val)
    # 创建左子树和右子树
    retTree['left'] = createTree(lSet, leafType, errType, ops)
    retTree['right'] = createTree(rSet, leafType, errType, ops)
    return retTree


if __name__ == '__main__':
    myDat = loadDataSet('ex2.txt')
    myMat = np.mat(myDat)
    print(createTree(myMat))

运行结果如下图所示：
在这里插入图片描述
写到这里就结束了。

Auraros
关注
专栏目录
[Python从零到壹] 十四.机器学习之分类算法五万字总结全网首发（决策树、KNN、SVM、分类对比实验）
杨秀璋的专栏
07-09 2万+
分类（Classification）属于有监督学习（Supervised Learning）中的一类，它是数据挖掘、机器学习和数据科学中一个重要的研究领域。分类模型类似于人类学习的方式，通过对历史数据或训练集的学习得到一个目标函数，再用该目标函数预测新数据集的未知属性。本章主要讲述分类算法基础概念，并结合决策树、KNN、SVM分类算法案例分析各类数据集，从而让读者学会使用Python分类算法分析自己的数据集，研究自己领域的知识，从而创造价值。 19.1 分类 19.1.1 分类模型 与前面讲述的聚类模型类似
第八篇：机器学习基础：集成学习算法：随机森林、Adaboost、 XGBoost
haiwang_luo的博客
05-29 1211
1 集成学习 1.1。何为集成方法？ 集成学习是一种机器学习范式。在集成学习中，我们会训练多个模型（通常称为「弱学习器」）解决相同的问题，并将它们结合起来以获得更好的结果。 最重要的假设是：当弱模型被正确组合时，我们可以得到更精确和/或更鲁棒的模型。 集成方法的思想是通过将这些弱学习器的偏置和/或方差结合起来，从而创建一个「强学习器」（或「集成模型」），从而获得更好的性能。 1.2。组合弱学习器：很重要的一点是：我们对弱学习器的选择应该和我们聚合这些模型的方式相一致。 如果我们选择具有低偏
Regression Tree 回归树
热门推荐
没有名字
02-09 8万+
1. 引言 AI时代，机器学习算法成为了研究、应用的热点。当前，最火的两类算法莫过于神经网络算法（CNN、RNN、LSTM等）与树形算法（随机森林、GBDT、XGBoost等），树形算法的基础就是决策树。决策树因其易理解、易构建、速度快的特性，被广泛应用于统计学、数据挖掘、机器学习领域。因此，对决策树的学习，是机器学习之路必不可少的一步。 根据处理数据类型的不同，决策树又分为两类：分类决策树与...
CART回归树和GBDT
ZhikangFu的专栏
05-08 3744
CART 分为回归树和决策树。这里重点讲讲回归树的特征选择。 回归树选择特征的方法是：平方误差最小化。 具体步骤为： 1）依次遍历每个特征j，以及该特征的每个取值s，计算每个切分点（j,s）的损失函数，选择损失函数最小的切分点。 其中c1,c2分别为R1,R2区间内的输出平均值。 2）使用上步得到的切分点将当前的输入空间划分为两个部分 3）然后将被划
【决策树回归的原理】
最新发布
2301_77444219的博客
07-02 1364
CART假设决策树是二叉树，内部节点特征的取值只有“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。综上所述，回归树是一种有效的回归预测方法，通过递归地划分特征空间并计算每个子区域的预测值来构建模型。在实际应用中，回归树具有广泛的适用性和良好的预测性能。其基本原理是将特征空间划分为多个子区域，每个子区域输出一个预测值，通常是该区域内所有训练样本标签的均值。回归树（Regression Tree）是一种使用树模型来解决回归问题的算法。解决回归问题的决策树模型即为回归树。
回归树--CART
华夏35度
01-03 4587
CART的全称是Classification And Regression Tree，于1984年由Breiman等人提出，顾名思义它可用于分类和回归，本文只讲它在回归上的应用。 对于回归树有要这么几点认识： 可以捕获Y对Xi的依赖性，上图的结果显示Y对X7和X8没有依赖。也可以充实我们对自变量之间关系的认识。树的形式简洁、高效。节点的每次分裂都把原样本空间划分为互不相交的两个
【机器学习实战】第9章 树回归
片刻 - ApacheCN
10-09 1204
第9章 树回归 http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=default">> 树回归 概述 我们本章介绍 CART(Classification And Regression Trees， 分类回归树) 的树构建算法。该算法既可以用于分类还可以用于回归。 树回归 场景 我们在第 8 章
CART回归树
weixin_34220834的博客
03-26 153
决策树算法原理(ID3，C4.5) 决策树算法原理(CART分类树) 决策树的剪枝 　　CART回归树模型表达式： 　　其中，数据空间被划分为R1~Rm单元，每个单元有一个固定的输出值Cm。这样可以计算模型输出值与真实值的误差： 　　希望每个单元上的Cm，可以使平方误差最小化，易知当Cm为相应单元上所有实际值的均值时，达到最优： 　　如何生成这些被划分的单元？ ...
机器学习之分类回归树（CART）
qq_38375203的博客
05-09 9962
前言 写这一章本来是想来介绍GBDT-LR这一个推荐模型的。但是这里面就涉及到了很多机器学习的基础树形算法，思前想后还是决定分成几篇文章来写，这里先介绍一下CART数，因为在GBDT中用来分类回归的树形结构就是CART，为了更好的理解这个推荐模型，首选需要的就是打好基础，介绍完CART之后，我就会介绍XGBoost等一些集成学习的东西，然后就是GBDT，当然了还有Xgboost。的确是一个大家族啊，当然了这些并不是全部的东西，还有LightGBM、catboost这几大巨头算法。这些之后再介绍吧。 一、
【机器学习】：梯度提升决策树（GBDT）
极歌科技
10-08 627
综述 GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。   GBDT中的树是回归树(不是分类树)，GBDT用来做回归预测，调整后也可以用于分类。 ...
机器学习——手把手教你用Python实现回归树模型
TechFlow的博客
06-12 1648
本文始发于个人公众号：TechFlow，原创不易，求个关注 今天这篇是机器学习专题的第24篇文章，我们来聊聊回归树模型。 所谓的回归树模型其实就是用树形模型来解决回归问题，树模型当中最经典的自然还是决策树模型，它也是几乎所有树模型的基础。虽然基本结构都是使用决策树，但是根据预测方法的不同也可以分为两种。第一种，树上的叶子节点就对应一个预测值和分类树对应，这一种方法称为回归树。第二种，树上的叶子节点对应一个线性模型，最后的结果由线性模型给出。这一种方法称为模型树。 今天我们先来看看其中的回归树。 回归树模
CART树回归
ggwcr的博客
10-07 864
基于树的回归算法是一类基于局部的回归算法，通过将数据集切分成多份，在每一份数据中单独建模。与局部加权线性回归不同的是，基于树回归的算法是一种基于参数学习的算法，利用训练数据训练完模型后，参数一定确定，无需再改变。分类回归树(Classification And Regression Tree,CART)算法是使用比较多的一种树模型，CART算法既可以解决分类问题也可以解决回归问题。前面的博客随机森林
cart树回归
manjhOK的博客
07-13 346
树回归切分伪代码如果数据集中目标变量只有一种： 不进行后续切分，直接将此数据集构建为叶节点 对每个特征： 对每个特征值： 将数据集切分为两份 计算切分后两个子数据集的误差和 如果此误差和小于当前最小误差： 将当前切分设定为最佳切分并更新最小误差 如果数据集上的误差和当前最小误差之间没有达到设定的容许误差下降值： 不进行后续切分，直接将此数据集构建为叶节点 如...
CART算法之回归树
blinkyou001的博客
11-28 689
本文详细介绍了CART回归算法的原理。
决策树算法原理(CART分类树)
weixin_34029680的博客
03-20 644
决策树算法原理(ID3，C4.5) CART回归树 决策树的剪枝 　　 　　在决策树算法原理(ID3，C4.5)中，提到C4.5的不足，比如模型是用较为复杂的熵来度量，使用了相对较为复杂的多叉树，只能处理分类不能处理回归。对这些问题，CART(Classification And Regression Tree)做了改进，可以处理分类，也可以处理回归。 1. CART分类树...
CART树（分类回归树）
gyq423的博客
08-28 3737
主要内容 （1）CART树简介 （2）CART树节点分裂规则 （3）剪枝 --------------------------------------------------------------------------------------------------------------------- 一、简介 CART分类回归树是一种典型的二叉决策树，可以做分类或者回归。若预测...
机器学习——CART回归树
阿鹏的摇滚小站
03-09 296
一. 回归树 注意：CART做分类时代价函数是基尼指数，做回归时代价函数时均方差函数 import numpy as np import matplotlib.pyplot as plt from sklearn.tree import DecisionTreeRegressor from sklearn import linear_model # Data set x = np.array...
机器学习入门：决策树算法详解与ID3实现
"这篇资料主要介绍了机器学习领域中的经典算法，特别是决策树算法，适合初学者学习。决策树是一种预测模型，通过构建树状结构来表示对象属性与对象值之间的映射关系。学习过程通常是从数据中递归地生成树，并进行...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值