随机变量向量和的范数平方的期望等于各随机变量向量范数平方期望的和

Lemma A.3: For independent, mean 0 random variables $x_1,\dots ,x_n$, we have $E[||x_1+\cdots +x_n|{|}^2]=E[||x_1|{|}^2+\cdots +||x_n|{|}^2]$.

这个引理表述了在一定条件下，随机变量向量和的欧几里得范数平方的期望等于各随机变量向量范数平方期望的和。为了证明这一点，我们需要假设$x_1,\dots ,x_n$是独立的随机向量，且它们的均值向量为0。这里的$||\cdot ||$表示欧几里得范数。

证明：

展开平方和范数：
$||x_1+\cdots +x_n|{|}^2=(x_1+\cdots +x_n)\cdot (x_1+\cdots +x_n)$ （其中“$\cdot$”表示点积）

展开后得到：

$||x_1+\cdots +x_n|{|}^2=||x_1|{|}^2+\cdots +||x_n|{|}^2+2(x_1\cdot x_2+x_1\cdot x_3+\cdots +x_{n-1}\cdot x_n)$

(注意这里的$x_1,\dots ,x_n$都是向量)

利用独立性和均值为0：
由于$x_1,\dots ,x_n$是独立的且均值为0，我们有$E[x_i]=0$对于所有$i$，以及$E[x_i\cdot x_j]=E[x_i]\cdot E[x_j]=0$对于所有$i\ne j$（根据期望的独立性性质：当两个随机变量独立时，它们的乘积的数学期望等于它们各自数学期望的乘积。）。

计算期望：
对$||x_1+\cdots +x_n|{|}^2$取期望，我们得到：

$E[||x_1+\cdots +x_n|{|}^2]=E[||x_1|{|}^2]+\cdots +E[||x_n|{|}^2]+2E[x_1\cdot x_2+\cdots +x_{n-1}\cdot x_n]$

(期望是有线性性质的，即和的期望等于期望的和)

由于$x_i\cdot x_j$的期望为0（对于$i\ne j$），交叉项的期望全部消失，留下：

$E[||x_1+\cdots +x_n|{|}^2]=E[||x_1|{|}^2]+\cdots +E[||x_n|{|}^2]$

这就证明了引理A.3。这个结论在随机优化、机器学习和其他统计领域中非常有用，特别是当我们处理多个随机变量的和，并需要了解其范数平方的期望时。