关于类间方差和类内方差，总方差关系的证明

关于类间方差和类内方差，总方差关系的证明

对于给定的数据样本，将其分为两类:$A$和$B$。若记总方差为${\sigma }_{total}^2$，类内方差和为${\sigma }_{intra}^2$和类间方差和为${\sigma }_{inter}^2$，那么下式成立：
$${\sigma }_{total}^2={\sigma }_{inter}^2+{\sigma }_{intra}^2\text{\hspace{1em}(1)}$$
在证明之前，需要注意该等式适用的是偏差平方和，而不是偏差平方和的平均值。
记$y_{ij}$是第$i$类的第$j$个样本，那么所以样本的均值为：
$${\overline{y}}_{\bullet \bullet }=\frac{{\sum }_i{\sum }_j{y}_{ij}}{{\sum }_i{\sum }_{j}1}\text{\hspace{1em}(2)}$$
第$i$类的样本平均值为：
$${\overline{y}}_{i\bullet }=\frac{{\sum }_j{\sum }_j{y}_{ij}}{{\sum }_i{\sum }_{j}1}\text{\hspace{1em}(3)}$$
其中，$j$的值依赖于类别$i$,即并非所有类中的样本数目相同。
那么总方差${\sigma }_{total}^2$为:
$${\sigma }_{total}^2=\sum _i\sum _j(y_{ij}-y_{\bullet \bullet }{)}^2\text{\hspace{1em}(4)}$$
类内方差和${\sigma }_{intra}^2$为：
$${\sigma }_{intra}^2=\sum _i\sum _j(y_{ij}-{\overline{y}}_{i\bullet }{)}^2\text{\hspace{1em}(5)}$$
类间方差和${\sigma }_{inter}^2$为：
$${\sigma }_{inter}^2=\sum _i\sum _j({\overline{y}}_{i\bullet }-{\overline{y}}_{\bullet \bullet }{)}^2\text{\hspace{1em}(6)}$$
其中，$n_i$为第$i$类的样本数目。
由于：
$$\begin{array}{rl}(y_{ij}-y_{\bullet \bullet }{)}^2& =[(y_{ij}-{\overline{y}}_{i\bullet })+({\overline{y}}_{i\bullet }-y_{\bullet \bullet }){]}^2\\ & =(y_{ij}-{\overline{y}}_{i\bullet }{)}^2+2(y_{ij}-{\overline{y}}_{i\bullet })({\overline{y}}_{i\bullet }-y_{\bullet \bullet })+({\overline{y}}_{i\bullet }-y_{\bullet \bullet }{)}^2\end{array}\text{\hspace{1em}(7)}$$
故只需证明中间项求和为$0$.
注意到$({\overline{y}}_{i\bullet }-y_{\bullet \bullet })$只与$i$有关，故可以将求和符号进行交换，且$y_{i\bullet }=n_i{\overline{y}}_{i\bullet }$，则：
$$\begin{array}{rl}2\sum _i\sum _j(y_{ij}-{\overline{y}}_{i\bullet })({\overline{y}}_{i\bullet }-y_{\bullet \bullet })& =2\sum _i({\overline{y}}_{i\bullet }-y_{\bullet \bullet })\sum _j(y_{ij}-{\overline{y}}_{i\bullet })\\ & =2\sum _i({\overline{y}}_{i\bullet }-y_{\bullet \bullet })(y_{i\bullet }-n_i{\overline{y}}_{i\bullet })\\ & =0\end{array}\text{\hspace{1em}(8)}$$
交叉项求和为$0$，还反映了两个向量正交。