《机器学习实战》第九章学习笔记（分类树回归CART）

最新推荐文章于 2022-08-09 17:12:47 发布

LZH_12345

最新推荐文章于 2022-08-09 17:12:47 发布

阅读量569

点赞数

分类专栏：机器学习文章标签： CART 预剪枝后剪枝分类回归树模型树

本文链接：https://blog.csdn.net/LZH_12345/article/details/80235143

版权

本文详细介绍了CART算法，包括其在分类树和回归树的应用。针对回归问题，CART使用平方误差最小化准则；在分类问题中，通过基尼指数选择最优特征。此外，文章还探讨了预剪枝和后剪枝策略，以及模型树的概念，强调了模型树在解释性和预测准确性方面的优势。

摘要由CSDN通过智能技术生成

一、CART(Classification And Regression Tree)

CART算法既可以用于分类还可以用于回归，CART树的生成就是递归构建二叉决策树的过程，对于回归树用平方误差最小化准则，对于分类树用基尼指数（Gini index）最小化准则，进行特征选择，生成二叉树。

1.1 回归树的生成

1.2 分类树的生成

1.2.1 基尼指数

1.2.2 分类树的生成

1.3 树回归的一般方法

(1) 收集数据：采用任意方法收集数据；
(2) 准备数据：需要数值型的数据，标称型数据应该映射成二值型数据；
(3) 分析数据：绘出数据的二维可视化显示结果，以字典方式生成树；
(4) 训练算法：大部分时间都花费在叶节点树模型的构建上；
(5)测试算法：使用测试数据上的R^2(相关系数) 值来分析模型的效果；
(6)使用算法：使用训练出的树做预测，预测結果还可以用来做很多事情。

二、CART算法用于回归

2.1 代码实现

# -*- coding: utf-8 -*-
"""
Created on Mon May  7 19:27:00 2018
CART算法的实现代码
@author: lizihua
"""
from numpy import *
import matplotlib.pyplot as plt

#加载数据
def loadDataSet(fileName):
    dataMat = []
    fr = open(fileName)
    for line in fr.readlines():
        curLine = line.strip().split("\t")
        fltLine = list(map(float,curLine))
        dataMat.append(fltLine)
    return dataMat


#在给定的特征和特征值的情况下，通过数组过滤的方式将上述数据分成二个子集返回
def binSplitDataSet(dataSet, feature, value):
    mat0 = dataSet[nonzero(dataSet[:,feature]>value)[0],:]
    mat1 = dataSet[nonzero(dataSet[:,feature]<=value)[0],:] 
    return mat0,mat1

#创建叶结点，此时数据不能继续切分
def regLeaf(dataSet):
    return mean(dataSet[:,-1])

#创建
def regErr(dataSet):
    return var(dataSet[:,-1])*shape(dataSet)[0]

#errType：计算总方差（平方误差和）函数 = regErr
#ops：用户定义的参数构成的元组，用来完成树