机器学习 - 随机森林降方差公式推导

背景

在随机森林算法中，我们通过对数据集进行多次采样（有放回地抽样）并训练多个决策树模型，然后将这些模型的预测结果进行平均来得到最终的预测结果。这样做的一个重要好处是能够降低模型的方差（Variance），从而提高模型的泛化能力。

公式推导

首先，我们定义：
$$F(x)=\frac{1}{m}\sum _{i=1}^m{f}_i(x)$$
这里，$F(x)$ 是随机森林模型的预测结果， $f_i(x)$ 是第 $i$ 个基模型（决策树）的预测结果， $m$ 是基模型的数量。

我们要推导的是 $\text{Var}[F(x)]$ ，即随机森林模型的预测结果的方差。

第一步：方差公式展开

$$\text{Var}[F(x)]=\frac{1}{m^2}\text{Var}\left(\sum _{i=1}^m{f}_i(x)\right)$$

第二步：方差的基本性质

$$\text{Var}\left(\sum _{i=1}^m{f}_i(x)\right)=\mathbb{E}\left[{\left(\sum _{i=1}^m{f}_i(x)\right)}^2\right]-{\left(\mathbb{E}\left[\sum _{i=1}^m{f}_i(x)\right]\right)}^2$$

所以，

$$\text{Var}[F(x)]=\frac{1}{m^2}\left(\mathbb{E}\left[{\left(\sum _{i=1}^m{f}_i(x)\right)}^2\right]-{\left(\mathbb{E}\left[\sum _{i=1}^m{f}_i(x)\right]\right)}^2\right)$$

第三步：展开平方项

$$\mathbb{E}\left[{\left(\sum _{i=1}^m{f}_i(x)\right)}^2\right]=\mathbb{E}\left[\sum _{i=1}^m{f}_i(x{)}^2+\sum _{i\ne j}{f}_i(x)f_j(x)\right]$$

$${\left(\mathbb{E}\left[\sum _{i=1}^m{f}_i(x)\right]\right)}^2={\left(\sum _{i=1}^m\mathbb{E}[f_i(x)]\right)}^2=m^2(\mathbb{E}[f_1(x)]{)}^2$$

代入上式，

$$\text{Var}[F(x)]=\frac{1}{m^2}\left(m\mathbb{E}[f_1(x{)}^2]+m(m-1)\mathbb{E}[f_1(x)f_2(x)]-m^2(\mathbb{E}[f_1(x)]{)}^2\right)$$

第四步：利用协方差

$$\mathbb{E}[f_1(x)f_2(x)]=\text{Cov}(f_1(x),f_2(x))+\mathbb{E}[f_1(x)]\mathbb{E}[f_2(x)]$$

代入，

$$\text{Var}[F(x)]=\frac{1}{m^2}\left(m\mathbb{E}[f_1(x{)}^2]+m(m-1)(\text{Cov}(f_1(x),f_2(x))+(\mathbb{E}[f_1(x)]{)}^2)-m^2(\mathbb{E}[f_1(x)]{)}^2\right)$$

展开并简化，

$$\text{Var}[F(x)]=\frac{1}{m}\text{Var}(f_1(x))+\frac{m-1}{m}\text{Cov}(f_1(x),f_2(x))$$

令 $\rho =\text{Cov}(f_1(x),f_2(x))/\text{Var}(f_1(x))$，即基模型间的相关系数，则：

$$\text{Var}[F(x)]=\rho \text{Var}(f_1(x))+\frac{1-\rho }{m}\text{Var}(f_1(x))$$

这样，我们就得到了随机森林模型的方差公式，它表示为基模型方差与基模型间协方差的组合。

解释

• 降低方差：通过多个基模型的平均，可以有效降低单个模型的方差，这也是 Bagging 方法的核心优势之一。
• 相关性影响：基模型间的相关性越低（即 $ \rho $ 越小），模型的方差降低得越明显。