CART回归树中的 方差减少量 计算步骤和示例

在 CART 回归树 中，方差减少量（Variance Reduction）是用来衡量一个分裂节点的好坏的关键指标。CART 回归树通过不断选择能够最大程度减少方差的特征和分裂点来划分数据，构建一棵回归树。方差减少量的计算是决定最佳划分点的核心依据。

回顾：CART 回归树的目标

CART 回归树在处理回归问题时，目标是将特征空间划分为多个子区域，使得每个子区域的预测值（通常是该区域内所有样本目标值的均值）能够尽可能准确地代表区域内样本的真实值。

方差减少量 是 CART 回归树在选择分裂点时的标准。它反映了在某个节点上对数据进行分裂时，分裂前后方差的变化。理想情况下，分裂后的子节点方差应比父节点方差更小，这样说明分裂使得数据集更加“纯”。

方差减少量的计算步骤

在构建 CART 回归树的过程中，算法会尝试不同的特征和不同的分裂点来划分数据，并选择能够最大化方差减少量的分裂点。具体步骤如下：

1. 计算分裂前的方差

假设在节点 $N$ 中，有 $n$ 个样本。目标变量的方差（均方误差）计算如下：
$$\text{Var}(N)=\frac{1}{n}\sum _{i=1}^n(y_i-\bar{y}{)}^2$$

其中：

• $y_i$ 是节点 $N$ 中第 $i$ 个样本的目标值。
• $\bar{y}$ 是节点 $N$ 中所有样本的目标均值：
  $$\bar{y}=\frac{1}{n}\sum _{i=1}^n{y}_i$$
• $\text{Var}(N)$ 表示节点 $N$ 的方差。

2. 计算分裂后的方差

假设我们选择了特征 $j$ 和划分点 $s$ 进行分裂，分裂后生成了两个子节点 $N_1$ 和 $N_2$：

• $N_1$ 包含满足 $x^{(j)}\le s$ 的样本，样本数为 $n_1$。
• $N_2$ 包含满足 $x^{(j)}>s$ 的样本，样本数为 $n_2$。

分裂后的两个子节点 $N_1$ 和 $N_2$ 的方差分别为：
$$\text{Var}(N_1)=\frac{1}{n_1}\sum _{i\in N_1}(y_i-{\bar{y}}_1{)}^2$$

$$\text{Var}(N_2)=\frac{1}{n_2}\sum _{i\in N_2}(y_i-{\bar{y}}_2{)}^2$$

其中：

• ${\bar{y}}_1$ 是节点 $N_1$ 中的目标均值：
  $${\bar{y}}_1=\frac{1}{n_1}\sum _{i\in N_1}{y}_i$$
• ${\bar{y}}_2$ 是节点 $N_2$ 中的目标均值：
  $${\bar{y}}_2=\frac{1}{n_2}\sum _{i\in N_2}{y}_i$$

3. 计算加权后的分裂方差

为了评估分裂后的整体方差，我们需要计算子节点的加权方差。加权方差计算如下：
$$\text{Weighted Var}(N)=\frac{n_1}{n}\text{Var}(N_1)+\frac{n_2}{n}\text{Var}(N_2)$$

其中：

• $\frac{n_1}{n}$ 是子节点 $N_1$ 样本数占总样本数的比例。
• $\frac{n_2}{n}$ 是子节点 $N_2$ 样本数占总样本数的比例。

4. 计算方差减少量

方差减少量反映了通过分裂减少的方差。它是分裂前节点方差和分裂后加权方差的差值，计算公式为：
$$\Delta \text{Var}=\text{Var}(N)-\text{Weighted Var}(N)$$

• $\text{Var}(N)$ 是分裂前节点的方差。
• $\text{Weighted Var}(N)$ 是分裂后两个子节点的加权方差。

方差减少量 $\Delta \text{Var}$ 越大，说明当前分裂点 $s$ 和特征 $j$ 能够更好地将数据划分开，使得数据集更加“纯”。因此，CART 回归树会选择能够最大化方差减少量的分裂点进行分裂。

举例说明

假设我们有一个简单的数据集，用于预测房价。数据集包含房屋面积和房价两列，算法希望通过房屋面积来进行分裂。

1. 计算分裂前的方差：
   假设当前节点中有 10 个房价数据，其均值为 $\bar{y}=300,000$，方差为：
   $$\text{Var}(N)=\frac{1}{10}\sum _{i=1}^{10}(y_i-300,000{)}^2=40,000$$

2. 分裂数据集：
   假设我们尝试以房屋面积为特征，选择某个分裂点 $s=1500$ 平方英尺进行分裂。分裂后得到两个子集：

   • 子节点 $N_1$：房屋面积 $\le 1500$ 平方英尺的样本，方差为 $\text{Var}(N_1)=20,000$。
   • 子节点 $N_2$：房屋面积 $>1500$ 平方英尺的样本，方差为 $\text{Var}(N_2)=10,000$。

3. 计算加权方差：
   假设子节点 $N_1$ 有 6 个样本，子节点 $N_2$ 有 4 个样本，加权方差计算为：
   $$\text{Weighted Var}(N)=\frac{6}{10}\times 20,000+\frac{4}{10}\times 10,000=12,000+4,000=16,000$$

4. 计算方差减少量：
   $$\Delta \text{Var}=40,000-16,000=24,000$$

因此，这个分裂点的方差减少量为 24,000。如果该分裂点的方差减少量是所有可能分裂点中最大的，CART 回归树就会选择该分裂点进行划分。

总结

在 CART 回归树中，方差减少量 是用于选择最佳分裂点的重要标准。它通过计算分裂前后的方差差值，衡量一个分裂能否显著减少数据的分散程度。CART 决策树会选择使方差减少量最大的特征和分裂点来进行划分，从而构建一棵能够良好拟合数据的回归树。