回归树模型

本文只介绍回归树模型与决策树模型的区别。如需了解完整的理论，请看链接：决策树模型笔记

一、回归树模型vs决策树模型：

• 回归树模型是决策树模型的推广。
• 决策树模型解决的是分类问题，预测结果只有有限种可能性，而回归树模型解决的是回归问题，即预测结果是一个实数。

二、回归树模型的叶结点：

回归树模型同决策树模型，叶结点用来保存该路径上的预测结果，那回归树模型叶结点取值如何填写？

以预测动物的体重案例为例：一般在训练过程中，叶结点的取值为当前结点样本集的平均值。

三、如何决定每个非叶结点上的特征类型：

决策树模型使用熵来计算信息增益，进而选择结点的特征，回归树模型使用方差（Variance）替代了熵来计算信息增益。

对于信息增益的计算思路同决策树模型：