Regression Tree 回归树

1. 引言

AI时代，机器学习算法成为了研究、应用的热点。当前，最火的两类算法莫过于神经网络算法（CNN、RNN、LSTM等）与树形算法（随机森林、GBDT、XGBoost等），树形算法的基础就是决策树。决策树因其易理解、易构建、速度快的特性，被广泛应用于统计学、数据挖掘、机器学习领域。因此，对决策树的学习，是机器学习之路必不可少的一步。

根据处理数据类型的不同，决策树又分为两类：分类决策树与回归决策树，前者可用于处理离散型数据，后者可用于处理连续型数据，下面的英文引用自维基百科。

Classification tree analysis is when the predicted outcome is the class to which the data belongs.

Regression tree analysis is when the predicted outcome can be considered a real number (e.g. the price of a house, or a patient’s length of stay in a hospital).

网络上有关于分类决策树的介绍可谓数不胜数，但是对回归决策树（回归树）的介绍却少之又少。李航教授的统计学习方法 对回归树有一个简单介绍，可惜篇幅较短，没有给出一个具体实例；Google搜索回归树，有一篇介绍回归树的博客（点击），该博客所举的实例有误，其过程事实上是基于残差的GBDT。

基于以上原因，本文简单介绍了回归树（Regression Tree），简单描述了CART算法，给出了回归树的算法描述，辅以简单实例以加深理解，最后是总结部分。

2. 回归树

决策树实际上是将空间用超平面进行划分的一种方法，每次分割的时候，都将当前的空间一分为二， 这样使得每一个叶子节点都是在空间中的一个不相交的区域，在进行决策的时候，会根据输入样本每一维feature的值，一步一步往下，最后使得样本落入N个区域中的一个（假设有N个叶子节点），如下图所示。

三种比较常见的分类决策树分支划分方式包括：ID3, C4.5, CART。

分类与回归树（classificationandregressiontree, CART)模型由Breiman等人在1984年提出，是应用广泛的决策树学习方法。CART同样由特征选择、树的生成及剪枝组成，既可以用于分类也可以用于回归。下面的英文引用自维基百科

The term Classification And Regression Tree (CART) analysis is an umbrella term used to refer to both of the above procedures, first introduced by Breiman et al. Trees used for regression and trees used for classification have some similarities - but also some differences, such as the procedure used to determine where to split.

下面介绍回归树。

2.1 原理概述

既然是决策树，那么必然会存在以下两个核心问题：如何选择划分点？如何决定叶节点的输出值？

一个回归树对应着输入空间（即特征空间）的一个划分以及在划分单元上的输出值。分类树中，我们采用信息论中的方法，通过计算选择最佳划分点。而在回归树中，采用的是启发式的方法。假如我们有n个特征，每个特征有$s_i(i\in (1,n))$个取值，那我们遍历所有特征，尝试该特征所有取值，对空间进行划分，直到取到特征j的取值s，使得损失函数最小，这样就得到了一个划分点。描述该过程的公式如下：（如果看不到图请点击永久地址）

假设将输入空间划分为M个单元：$R_1,R_2,...,R_m$ 那么每个区域的输出值就是：$c_m=ave(y_i|x_i\in R_m)$也就是该区域内所有点y值的平均数。

举个例子。如下图所示，假如我们想要对楼内居民的年龄进行回归，将楼划分为3个区域$R_1,$