均值、方差、协方差的增量计算

1. 基本定义

对于一组数值 $X_n=[x_1,x_2,...,x_n]$，其均值为
$$\overline{X_n}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
方差 (variance) 为 $${\sigma }_n^2=\frac{1}{n}\sum _{i=1}^n(x_i-\overline{X_n}{)}^2$$
结合另一组数值 $Y_n=[y_1,y_2,...,y_n]$，它们的协方差 (covariance) 为
$$cov(X_n,Y_n)=\frac{1}{n}\sum _{i=1}^n(x_i-\overline{X_n})(y_i-\overline{Y_n})$$

2. 流式计算需求

流式计算无法保留全量数据，因此要求只遍历数据一次就能算出这些值。均值的计算比较简单，直接遍历一次即可求和以及统计出数据总数n。方差的计算需要先遍历一次数据求出均值，再遍历一次才能算出方差，总共需要遍历两次，因此暴力算法不符合需求。协方差的计算同理。下面给出增量的计算方法，只需要遍历数据一次。

定义 $\overline{X_n}$ 为数组 $[x_1,x_2,...,x_n]$ 的均值，$\overline{X_{n-1}}$表示前n-1个数的均值。
定义 $v_n$ 为 $n{\sigma }_n^2$，即前n个数的方差的n倍，$v_{n-1}$表示 $(n-1){\sigma }_{n-1}^2$，即前n-1个数的方差的 n-1 倍。
当我们已知前 n-1 个数的均值 $\overline{X_{n-1}}$ 和 $v_{n-1}$时，给定新到的第n个数 $x_n$，新的均值和方差可如下计算：
$$\begin{gathered} \overline{X_n}=\overline{X_{n-1}}+\frac{x_n-\overline{X_{n-1}}}{n} \\ {v}_n=v_{n-1}+(x_n-\overline{X_{n-1}})(x_n-\overline{X_n}) \end{gathered}$$对于协方差，定义 $V_n$ 为 n 倍的 $cov(X_n,Y_n)$ ，即前n对数的协方差的n倍。可如下增量计算：$$\begin{array}{rl}{V}_n& =V_{n-1}+(x_n-\overline{X_n})(y_n-\overline{Y_{n-1}})\\ 或& =V_{n-1}+(x_n-\overline{X_{n-1}})(y_n-\overline{Y_n})\end{array}$$上面两式右边部分是相等的。文章最后有这些公式的推导证明。

3. 聚合计算需求

当数据量比较大，需要分布式并行计算时，要求能把多个分片的中间结果合并成最终结果。假设有两个分片，分别有 n 和 m 组数据，第一个分片为 $[(x_{1,1},y_{1,1}),(x_{1,2},y_{1,2}),(x_{1,3},y_{1,3}),...,(x_{1,n},y_{1,n})]$，第二个分片为 $[(x_{2,1},y_{2,1}),(x_{2,2},y_{2,2}),(x_{2,3},y_{2,3}),...,(x_{2,m},y_{2,m})]$
设 $\overline{X_n}$ 为 $[x_{1,1},x_{1,2},x_{1,3},...,x_{1,n}]$ 的均值，$\overline{Y_n}$ 为 $[y_{1,1},y_{1,2},y_{1,3},...,y_{1,n}]$ 的均值，$V_n$ 为 n 倍的 $cov(X_n,Y_n)$，即 $$V_n=\sum _{i=1}^n(x_i-\overline{X_n})(y_i-\overline{Y_n})$$ $\overline{X_m}$ 为 $[x_{2,1},x_{2,2},x_{2,3},...,x_{2,m}]$ 的均值，$\overline{Y_m}$ 为 $[y_{2,1},y_{2,2},y_{2,3},...,y_{2,m}]$ 的均值，$V_m$ 为 m 倍的 $cov(X_m,Y_m)$. 现在要求 $\overline{X_{n+m}}$ 和 $V_{n+m}$，可如下计算： $$\begin{gathered} \overline{X_{n+m}}=\frac{n\overline{X_n}+m\overline{X_m}}{n+m} \\ {V}_{n+m}=V_n+V_m+\frac{nm}{n+m}(\overline{X_n}-\overline{X_m})(\overline{Y_n}-\overline{Y_m}) \end{gathered}$$

4. 滑动窗口计算需求

在窗口函数的计算中，窗口滑动时会新增一个数据，也可能剔除一个最老的数据。新增数据可使用前面流式计算的方法来更新，剔除数据也是利用相同的公式。由于均值、方差、协方差的计算与数据顺序无关，假设要剔除的就是 $x_n$，于是
$$\begin{gathered} \overline{X_{n-1}}=\overline{X_n}-\frac{x_n-\overline{X_n}}{n-1} \\ {v}_{n-1}=v_n-(x_n-\overline{X_{n-1}})(x_n-\overline{X_n}) \\ \begin{array}{rl}{V}_{n-1}& =V_n-(x_n-\overline{X_n})(y_n-\overline{Y_{n-1}})\\ 或& =V_n-(x_n-\overline{X_{n-1}})(y_n-\overline{Y_n})\end{array} \end{gathered}$$

5. 推导证明

5.1 均值的增量计算

$$\begin{gathered} \overline{X_n}=\frac{1}{n}\sum _{i=1}^n{x}_i=\frac{1}{n}(x_n+\sum _{i=1}^{n-1}{x}_i)=\frac{1}{n}(x_n+(n-1)\overline{X_{n-1}}) \\ =\frac{1}{n}(n\overline{X_{n-1}}+x_n-\overline{X_{n-1}})=\overline{X_{n-1}}+\frac{x_n-\overline{X_{n-1}}}{n} \end{gathered}$$

5.2 方差的增量计算

$$\begin{gathered} v_n=\sum _{i=1}^n(x_i-\overline{X_n}{)}^2=\sum _{i=1}^{n-1}(x_i-\overline{X_n}{)}^2+(x_n-\overline{X_n}{)}^2 \\ =\sum _{i=1}^{n-1}(x_i-\overline{X_{n-1}}+\overline{X_{n-1}}-\overline{X_n}{)}^2+(x_n-\overline{X_n}{)}^2 \\ =\sum _{i=1}^{n-1}(x_i-\overline{X_{n-1}}{)}^2+2(\overline{X_{n-1}}-\overline{X_n})\sum _{i=1}^{n-1}(x_i-\overline{X_{n-1}})+(n-1)(\overline{X_{n-1}}-\overline{X_n}{)}^2+(x_n-\overline{X_n}{)}^2 \end{gathered}$$上式第一项就是$v_{n-1}$，第二项是0，因为
$$\sum _{i=1}^{n-1}(x_i-\overline{X_{n-1}})=\sum _{i=1}^{n-1}{x}_i-(n-1)\overline{X_{n-1}}=(n-1)\overline{X_{n-1}}-(n-1)\overline{X_{n-1}}=0$$于是 $v_n=v_{n-1}+(n-1)(\overline{X_{n-1}}-\overline{X_n}{)}^2+(x_n-\overline{X_n}{)}^2$

简化一下增量部分，注意到有
$$(n-1)(\overline{X_{n-1}}-\overline{X_n})=(n-1)\overline{X_{n-1}}-(n-1)\overline{X_n}=n\overline{X_n}-x_n-(n-1)\overline{X_n}=\overline{X_n}-x_n$$于是
$$\begin{gathered} (n-1)(\overline{X_{n-1}}-\overline{X_n}{)}^2+(x_n-\overline{X_n}{)}^2 \\ \begin{array}{rl}& =(n-1)(\overline{X_{n-1}}-\overline{X_n})(\overline{X_{n-1}}-\overline{X_n})+(x_n-\overline{X_n}{)}^2\\ & =(\overline{X_n}-x_n)(\overline{X_{n-1}}-\overline{X_n})+(x_n-\overline{X_n}{)}^2\\ & =(x_n-\overline{X_n})(\overline{X_n}-\overline{X_{n-1}})+(x_n-\overline{X_n}{)}^2\\ & =(x_n-\overline{X_n})(x_n-\overline{X_n}+\overline{X_n}-\overline{X_{n-1}})\\ & =(x_n-\overline{X_n})(x_n-\overline{X_{n-1}})\end{array} \end{gathered}$$于是 $v_n=v_{n-1}+(x_n-\overline{X_{n-1}})(x_n-\overline{X_n})$

5.3 协方差的增量计算

思路与方差的证明相同（实际上方差就是协方差的特殊形式）
$$V_n=\sum _{i=1}^{n-1}(x_i-\overline{X_n})(y_i-\overline{Y_n})+(x_n-\overline{X_n})(y_n-\overline{Y_n})$$把第一项中的均值换成 $\overline{X_{n-1}}$ 和 $\overline{Y_{n-1}}$，先换 $\overline{X_n}$
$$\begin{array}{rl}\sum _{i=1}^{n-1}(x_i-\overline{X_n})(y_i-\overline{Y_n})& =\sum _{i=1}^{n-1}(x_i-\overline{X_{n-1}}+\overline{X_{n-1}}-\overline{X_n})(y_i-\overline{Y_n})\\ & =\sum _{i=1}^{n-1}(x_i-\overline{X_{n-1}})(y_i-\overline{Y_n})+(\overline{X_{n-1}}-\overline{X_n})\sum _{i=1}^{n-1}(y_i-\overline{Y_n})\\ & =\sum _{i=1}^{n-1}(x_i-\overline{X_{n-1}})(y_i-\overline{Y_{n-1}}+\overline{Y_{n-1}}-\overline{Y_n})+(\overline{X_{n-1}}-\overline{X_n})\sum _{i=1}^{n-1}(y_i-\overline{Y_n})\\ & =\sum _{i=1}^{n-1}(x_i-\overline{X_{n-1}})(y_i-\overline{Y_{n-1}})+\sum _{i=1}^{n-1}(x_i-\overline{X_{n-1}})(\overline{Y_{n-1}}-\overline{Y_n})+(\overline{X_{n-1}}-\overline{X_n})\sum _{i=1}^{n-1}(y_i-\overline{Y_n})\end{array}$$
上式第二项为0，因为${\sum }_{i=1}^{n-1}(x_i-\overline{X_{n-1}})={\sum }_{i=1}^{n-1}{x}_i-(n-1)\overline{X_{n-1}}={\sum }_{i=1}^{n-1}{x}_i-{\sum }_{i=1}^{n-1}{x}_i=0$
第三项可简化为 $(\overline{X_{n-1}}-\overline{X_n})(\overline{Y_n}-y_n)$，
因为${\sum }_{i=1}^{n-1}(y_i-\overline{Y_n})+y_n-\overline{Y_n}={\sum }_{i=1}^n{y}_i-n\overline{Y_n}=0$
所以有${\sum }_{i=1}^{n-1}(y_i-\overline{Y_n})=\overline{Y_n}-y_n$
于是
$$\begin{gathered} \sum _{i=1}^{n-1}(x_i-\overline{X_n})(y_i-\overline{Y_n})=\sum _{i=1}^{n-1}(x_i-\overline{X_{n-1}})(y_i-\overline{Y_{n-1}})-(\overline{X_{n-1}}-\overline{X_n})(y_n-\overline{Y_n}) \\ =V_{n-1}+(\overline{X_n}-\overline{X_{n-1}})(y_n-\overline{Y_n}) \end{gathered}$$于是
$$\begin{array}{rl}{V}_n& =V_{n-1}+(\overline{X_n}-\overline{X_{n-1}})(y_n-\overline{Y_n})+(x_n-\overline{X_n})(y_n-\overline{Y_n})\\ & =V_{n-1}+(x_n-\overline{X_n}+\overline{X_n}-\overline{X_{n-1}})(y_n-\overline{Y_n})\\ & =V_{n-1}+(x_n-\overline{X_{n-1}})(y_n-\overline{Y_n})\end{array}$$

5.4 协方差的聚合计算

$$\begin{gathered} V_n=\sum _{i=1}^n(x_{1,i}-\overline{X_n})(y_{1,i}-\overline{Y_n}) \\ {V}_m=\sum _{i=1}^m(x_{2,i}-\overline{X_m})(y_{2,i}-\overline{Y_m}) \\ {V}_{n+m}=\sum _{i=1}^n(x_{1,i}-\overline{X_{n+m}})(y_{1,i}-\overline{Y_{n+m}})+\sum _{i=1}^m(x_{2,i}-\overline{X_{n+m}})(y_{2,i}-\overline{Y_{n+m}}) \end{gathered}$$ 简化一下第一项，
$$\begin{gathered} \sum _{i=1}^n(x_{1,i}-\overline{X_n}+\overline{X_n}-\overline{X_{n+m}})(y_{1,i}-\overline{Y_{n+m}}) \\ =\sum _{i=1}^n(x_{1,i}-\overline{X_n})(y_{1,i}-\overline{Y_{n+m}})+(\overline{X_n}-\overline{X_{n+m}})\sum _{i=1}^n(y_{1,i}-\overline{Y_{n+m}}) \\ =\sum _{i=1}^n(x_{1,i}-\overline{X_n})(y_{1,i}-\overline{Y_{n+m}})+(\overline{X_n}-\overline{X_{n+m}})(n\overline{Y_n}-n\overline{Y_{n+m}}) \\ =\sum _{i=1}^n(x_{1,i}-\overline{X_n})(y_{1,i}-\overline{Y_{n+m}})+n(\overline{X_n}-\overline{X_{n+m}})(\overline{Y_n}-\overline{Y_{n+m}}) \\ =\sum _{i=1}^n(x_{1,i}-\overline{X_n})(y_{1,i}-\overline{Y_n}+\overline{Y_n}-\overline{Y_{n+m}})+n(\overline{X_n}-\overline{X_{n+m}})(\overline{Y_n}-\overline{Y_{n+m}}) \\ =\sum _{i=1}^n(x_{1,i}-\overline{X_n})(y_{1,i}-\overline{Y_n})+(\overline{Y_n}-\overline{Y_{n+m}})\sum _{i=1}^n(x_{1,i}-\overline{X_n})+n(\overline{X_n}-\overline{X_{n+m}})(\overline{Y_n}-\overline{Y_{n+m}}) \\ =\sum _{i=1}^n(x_{1,i}-\overline{X_n})(y_{1,i}-\overline{Y_n})+n(\overline{X_n}-\overline{X_{n+m}})(\overline{Y_n}-\overline{Y_{n+m}}) \\ =V_n+n(\overline{X_n}-\overline{X_{n+m}})(\overline{Y_n}-\overline{Y_{n+m}}) \end{gathered}$$ 同理，可将 $V_{n+m}$ 表达式的第二项简化为
$$V_m+m(\overline{X_m}-\overline{X_{n+m}})(\overline{Y_m}-\overline{Y_{n+m}})$$
注意到 $n(\overline{X_n}-\overline{X_{n+m}})+m(\overline{X_m}-\overline{X_{n+m}})=n\overline{X_n}+m\overline{X_m}-(n+m)\overline{X_{n+m}}=0$
因此有 $-n(\overline{X_n}-\overline{X_{n+m}})=m(\overline{X_m}-\overline{X_{n+m}})$
于是 $$\begin{gathered} V_{n+m}=V_n+V_m+n(\overline{X_n}-\overline{X_{n+m}})(\overline{Y_n}-\overline{Y_{n+m}}-\overline{Y_m}+\overline{Y_{n+m}}) \\ =V_n+V_m+n(\overline{X_n}-\overline{X_{n+m}})(\overline{Y_n}-\overline{Y_m}) \end{gathered}$$而 $$\begin{gathered} n(\overline{X_n}-\overline{X_{n+m}})=\frac{n}{n+m}((n+m)\overline{X_n}-(n+m)\overline{X_{n+m}}) \\ =\frac{n}{n+m}(n\overline{X_n}+m\overline{X_n}-\sum _{i=1}^n{x}_{1,i}-\sum _{i=1}^m{x}_{2,i}) \\ =\frac{n}{n+m}(\sum _{i=1}^n{x}_{1,i}+m\overline{X_n}-\sum _{i=1}^n{x}_{1,i}-m\overline{X_m}) \\ =\frac{nm}{n+m}(\overline{X_n}-\overline{X_m}) \end{gathered}$$ 于是 $$V_{n+m}=V_n+V_m+\frac{nm}{n+m}(\overline{X_n}-\overline{X_m})(\overline{Y_n}-\overline{Y_m})$$