直观理解Law of Total Variance(方差分解公式)

Law of Iterated Expectations (LIE)

在讲方差分解之前，我们需要先理解双期望定理。对于一个X，我们可以根据不同的Y将其任意的划分为几部分：

于是经过这样的划分，X总体的均值其实是等价于每一个划分下均值的总体均值。

$$E[X]=E[E[X|Y]]$$

举个例子，假设一共划分为三部分，每部分的均值分别为70 60 80, 于是

$$\begin{array}{rl}& E[X]=E[E[X\mid Y]]\\ =& E[E[X\mid Y=y_1]+E[X\mid Y=y_2]+E[X\mid Y=y_3]]\\ =& \frac{70+60+80}{3}\\ =& 70\end{array}$$

从理论上，
$$\begin{array}{rl}E[E[X\mid Y]]& =\int p(y)\int xp(x|y)dxdy\\ & =\int p(x,y)xdxdy\\ & =\int p(x)xdx\\ & =E[X]\end{array}$$

Mathematical Derivation of the Law of Total Variance

另一个重要的规则是total variance：
$$Var(X)=E[Var(X\mid Y)]+Var(E[X\mid Y])$$

它刻画了方差的两个组成成分：
$$\begin{gathered} \begin{array}{rlr}E[Var(X\mid Y)]& =E[E[X^2\mid Y]-(E[X\mid Y]{)}^2]& \text{Def. of variance}\\ & =E[E[X^2\mid Y]]-E[(E[X\mid Y]{)}^2]& \text{Lin. of Expectation}\\ & =E[X^2]-E[(E[X\mid Y]{)}^2]& \text{law of Ite. Expect}\end{array} \\ \begin{array}{rlr}Var(E[X\mid Y])& =E[(E[X\mid Y]{)}^2]-E[E[X\mid Y]{]}^2& \text{Def. of variance}\\ & =E[(E[X\mid Y]{)}^2]-E[X{]}^2& \text{law of Ite. Expect}\end{array} \\ \therefore E[Var(X\mid Y)]+Var(E[X\mid Y])=E[X^2]-E[X{]}^2=Var(X) \end{gathered}$$

怎么理解呢？

1. 什么是$E[Var(X\mid Y)]$? 直观来看，他是每个划分下方差的均值，因此，它刻画了样本内差异的均值。
2. 什么是$Var(E[X\mid Y])$? 它刻画了不同分组下均值的差异程度，因此，它刻画了样本间差异的程度。

因此，方差刻画了样本内和样本间差异的叠加，这就是Law of Total Variance.

与k-means聚类的联系

熟悉聚类算法的同学可能意识到，k means聚类其实有两种等价的学习方式，分别是，最小化类内距离(within-cluster sum of squares (WCSS))：
$$\underset{\mathbf{S}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\sum _{i=1}^k\sum _{\mathbf{x}\in S_i}\Vert \mathbf{x}-{\mathbf{\mu }}_i{\Vert }^2=\underset{\mathbf{S}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\sum _{i=1}^k|S_i|\mathrm{Var}{S}_i$$
以及最大化类间距离(between-cluster sum of squares, BCSS)：
$$\underset{\mathbf{S}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}\sum _{i=1}^k|S_i|\Vert \overline{x}-{\mathbf{\mu }}_i{\Vert }^2$$
显然，它们分别对应着$E[Var(X\mid Y)]$和$Var(E[X\mid Y])$，因为他们加起来是等于常数（方差），因此根据全方差公式，最小化前者等价于最大化后者。

与最小二乘法的联系

所谓最小二乘法，其实就是搜索最优的$f$：
E ⁡ [ ( Y − f ( X ) ) 2 ] = E ⁡ [ ( Y − E ⁡ ( Y ∣ X )    +    E ⁡ ( Y ∣ X ) − f ( X ) ) 2 ] = E ⁡ [ E ⁡ { ( Y − E ⁡ ( Y ∣ X )    +    ( E ⁡ ( Y ∣ X ) − f ( X ) ) 2 ∣ X } ] = E ⁡ [ ( ( Y − E ⁡ ( Y ∣ X )   ) 2 + ( E ⁡ ( Y ∣ X ) − f ( X ) ) 2 + 2 ( Y − E ⁡ ( Y ∣ X ) ) ( E ⁡ ( Y ∣ X ) − f ( X ) ) ∣ X ] = E ⁡ [ Var ⁡ ( Y ∣ X ) ] + E ⁡ [ ( E ⁡ ( Y ∣ X ) − f ( X ) ) 2 ] + 2 ( E [ Y ∣ X ] − E ⁡ ( Y ∣ X ) ) ( E ⁡ ( Y ∣ X ) − f ( X ) ) = E ⁡ [ Var ⁡ ( Y ∣ X ) ] + E ⁡ [ ( E ⁡ ( Y ∣ X ) − f ( X ) ) 2 ]   . {\displaystyle \begin{aligned} \operatorname{E} [(Y-f(X))^{2} ] & =\operatorname{E} [(Y-\operatorname{E} (Y|X)\ \ +\ \ \operatorname{E} (Y|X)-f(X))^{2} ]\\ & =\operatorname{E} [\operatorname{E} \{(Y-\operatorname{E} (Y|X)\ \ +\ \ \left(\operatorname{E} (Y|X)-f(X)\right)^{2} |X\}]\\ & =\operatorname{E}\left[\left( (Y-\operatorname{E} (Y|X)\ \right)^{2} +\left(\operatorname{E} (Y|X)-f(X)\right)^{2} +2\left( Y-\operatorname{E} (Y|X)\right)\left(\operatorname{E} (Y|X)-f(X)\right) |X\right]\\ & =\operatorname{E} [\operatorname{Var} (Y|X)]+\operatorname{E}\left[\left(\operatorname{E} (Y|X)-f(X)\right)^{2}\right] +2\left( E[ Y|X] -\operatorname{E} (Y|X)\right)\left(\operatorname{E} (Y|X)-f(X)\right)\\ & =\operatorname{E} [\operatorname{Var} (Y|X)]+\operatorname{E} [(\operatorname{E} (Y|X)-f(X))^{2} ]\ . \end{aligned}} E[(Y−f(X))2]​=E[(Y−E(Y∣X)  +  E(Y∣X)−f(X))2]=E[E{(Y−E(Y∣X)  +  (E(Y∣X)−f(X))2∣X}]=E[((Y−E(Y∣X) )2+(E(Y∣X)−f(X))2+2(Y−E(Y∣X))(E(Y∣X)−f(X))∣X]=E[Var(Y∣X)]+E[(E(Y∣X)−f(X))2]+2(E[Y∣X]−E(Y∣X))(E(Y∣X)−f(X))=E[Var(Y∣X)]+E[(E(Y∣X)−f(X))2] .​
其中
$$\begin{array}{rl}\mathrm{Var}(Y|X)& =E\left(\right(Y-E(Y\mid X){)}^2\mid X)\\ & =E(Y^2-2YE(Y\mid X)+E(Y\mid X{)}^2\mid X)\\ & =E(Y^2|X-2E[Y|X]E(Y\mid X)+E(Y\mid X{)}^2)\\ & =E[Y^2\mid X]-(E[Y\mid X]{)}^2\end{array}$$

可以发现，当$f=E(Y|X)$的时候，右边的那项将消失，因此条件期望就是最优的$f$，
$$E\left((Y-E[Y|X]{)}^2\right)=E[Var[Y|X]]$$
因为回归其实也可以直观上理解为一种最小化样本内差异的方法。

参考资料

A mathematical derivation of the Law of Total Variance