用决策树模型求解回归问题（regression tree）

How do decision trees for regression work?

决策树模型既可以求解分类问题（对应的就是 classification tree），也即对应的目标值是类别型数据，也可以应用于回归预测问题的求解（regression tree），其输出值则可以是连续的实数值。一般市面上介绍决策树模型的书及相关的教学视频，通常只关注决策树在分类问题上的求解，而一笔带过对回归树的介绍。事实上，二者的构建过程也确实没有本质的不同，二者的差异主要集中在划分属性时的划分原则上。

1. SSE

$$\text{SSE} = \sum_{i\in S_1}|y_i-\bar{y_1}|+\sum_{i\in S_2}|y_i-\bar{y_2}|$$

$\bar{y_1},\bar{y_2}$ 分别表示以当前属性作为划分选择时各自对应的集合 $S_1$ 和 $S_2$ 目标值的均值。可通过如下的剪枝方式提高魔性的泛化能力：

$$SSE_{c_p}=SSE+c_p\times S_t$$

$S_t$ 用来定义树的规模，也即终端节点的数目。$c_p$ 则为可调参数，更小的 $c_p$ 将会获得更大的树，该参数可通过交叉验证的方式获得。

2. OLS regression： sum of squared error

3. quantile regression：