《机器学习实战》第九章学习笔记（分类树回归CART）

一、CART(Classification And Regression Tree)

CART算法既可以用于分类还可以用于回归，CART树的生成就是递归构建二叉决策树的过程，对于回归树用平方误差最小化准则，对于分类树用基尼指数（Gini index）最小化准则，进行特征选择，生成二叉树。

1.1 回归树的生成

1.2 分类树的生成

1.2.1 基尼指数

1.2.2 分类树的生成

1.3 树回归的一般方法

(1) 收集数据：采用任意方法收集数据；
(2) 准备数据：需要数值型的数据，标称型数据应该映射成二值型数据；
(3) 分析数据：绘出数据的二维可视化显示结果，以字典方式生成树；
(4) 训练算法：大部分时间都花费在叶节点树模型的构建上；
(5)测试算法：使用测试数据上的R^2(相关系数) 值来分析模型的效果；
(6)使用算法：使用训练出的树做预测，预测結果还可以用来做很多事情。

二、CART算法用于回归

2.1 代码实现

# -*- coding: utf-8 -*-
"""
Created on Mon May  7 19:27:00 2018
CART算法的实现代码
@author: lizihua
"""
from numpy import *
import matplotlib.pyplot as plt

#加载数据
def loadDataSet(fileName):
    dataMat = []
    fr = open(fileName)
    for line in fr.readlines():
        curLine = line.strip().split("\t")
        fltLine = list(map(float,curLine))
        dataMat.append(fltLine)
    return dataMat


#在给定的特征和特征值的情况下，通过数组过滤的方式将上述数据分成二个子集返回
def binSplitDataSet(dataSet, feature, value):
    mat0 = dataSet[nonzero(dataSet[:,feature]>value)[0],:]
    mat1 = dataSet[nonzero(dataSet[:,feature]<=value)[0],:] 
    return mat0,mat1

#创建叶结点，此时数据不能继续切分
def regLeaf(dataS