机器学习实践——树回归（CART算法）

背景：线性回归需要拟合所有的数据才能生成模型，但是，当数据拥有众多的特征以及特征之间的关系十分复杂时，这种方法显得太难了。除此之外，实际生活中很多数据都是非线性的，不能使用全局线性模型进行拟合。因此提出树结构与回归法。

CART算法称为分类回归树，意味着可以处理分类问题，也可以用于回归问题。对于给定的训练数据集，如果是分类树，CART采用GINI值衡量节点纯度；如果是回归树，采用样本方差衡量节点纯度。

CART算法使用二元切分来处理连续性变量，ID3算法使用香农熵来度量集合的无组织程度，如果采用其他的度量就可以采用树构建算法完成回归树。回归树与分类树的思路类似，不过分类树的叶节点是离散型，回归树的叶节点是连续型。

回归树在进行特征选择的依据是样本方差

方差计算公式：             

                                      

方差越大，数据越离散，越 "不纯" 。

将CART算法用于回归

from numpy import *
#加载数据
def loadDateSet(filename):
    fr = open(filename)
    dataMat = []
    for line in fr.readlines():
        currline = line.strip().split('\t')
        fltline = map(float,currline)
        dataMat.append(fltline)
    return dataMat
#切分数据，feature：待切分的特征，value:切分的特征值
def BinSplitDataSet(dataset,feature,value):
    #nonzero(a)返回元组a中非零元素的索引值，返回一个二维数组
    #第一个array从行维度来描述索引值；第二个array从列维度来描述索引值
    mat0 = dataset[nonzero(dataset[:,feature] > value)[0],:]
    mat1 = dataset[nonzero(dataset[:,feature] <= value)[0],:]
    return mat0,mat1

#负责生成叶节点，在回归树中，叶节点的模型也就是目标变量的平均值
def regLeaf(dataSet):
    return mean(dataSet[:,-1])

#计算目标变量的平均误差
def regErr(dataSet):
    #var()是均方差函数，用均方差乘上样本个数即为总方差
    return var(dataSet[:,-1]) * shape(dataSet)[0]

def chooseBestSplit(dataSet,leafType=regLeaf,errType=regErr,ops=(1,4)):
    #tols与toln是用户指定的参数，用于控住函数的停止时机
    #tols是容许的误差下降值，toln是切分的最小样本数
    tols = ops[0];tolN = ops[1]
    #如果只剩下一种标签，则退出
    if len(set(dataSet[:,-1].T.tolist()[0]))==1:
        return None,lea