决策树面试知识点最全总结（四）——CART回归树

最新推荐文章于 2024-03-31 13:10:34 发布

qq_16608563

最新推荐文章于 2024-03-31 13:10:34 发布

阅读量1.9k

点赞数 1

分类专栏：机器学习

本文链接：https://blog.csdn.net/qq_16608563/article/details/82856947

版权

CART回归树适用于非线性数据，通过平方误差最小化准则构建二叉树。算法选择最佳切分变量和点，递归划分数据集，以最小化区域误差。每个划分单元的输出值为该单元内输出值的平均。算法包括遍历变量、划分区域、确定输出值及停止条件等步骤。

摘要由CSDN通过智能技术生成

CART回归树

如果样本的标签和样本的特征存在非线性关系时，则普通的线性回归、岭回归和Lasso回归都不再使用。
局部加权回归也可以对非线性数据进行较好的拟合，但是它是非参数模型，每次预测都要重新训练模型参数，计算量太大，耗费时间。
CART树回归算法属于一种局部的回归算法，通过将全局的数据集划分成多份容易建模的数据集，这样在每个个数据集上进行局部的回归建模。

CART回归树用平方误差最小化准则，进行特征选择，生成二叉树。
重点：
一个回归树对应着输入空间（即特征空间）的一个划分以及在划分的单元上的输出值。
1）如何划分？划分标准时什么？
2）各个划分单元上的输出值怎么确定？
如果回答了以上2个问题，那么回归树模型就确定了。
假设已将输入空间划分为M个单元 $R_1,R_2…R_m$ ,并且在每个单元上都有一个固定的输出值 $C_m$ ,于是回归树模型可表示为：
$f(x)=\displaystyle\sum_{m=1}^{M}c_mI(x∈R_m)$
当输入空间的划分确定时，可以用平方误差 $\displaystyle\sum_{(x_i ∈R_m)}(y_i-f(x_i))^2$