根据上面图中的一个例子,我们来分析下,假设A、B两点是曲线上的噪声点。
模型树的叶子节点是一个分段线性函数[1]。
回归树的叶子节点是取一个区间的平均(一个常数值)。
上述图中AB区间的均值是一个暗点。
所以:
对于节点A而言,模型树(一个分段线性函数)的估计离主曲线更远(噪声点A被过拟合),此时选择回归树(预测值为蓝色点)更加合适。
对于节点B而言,回归树(均值常数)导致B的预测值是蓝色点,离主曲线太远(过拟合),此时选用模型树(一个分段线性函数)更加合适
Reference:
[1]Is Tree decisiontree Regressor a model tree or a regression tree