方差双期望公式

⊙▽⊙我是不会告诉你秘密的！

于 2024-01-13 19:48:05 发布

阅读量981

点赞数 11

CC 4.0 BY-SA版权

文章标签：概率论

本文链接：https://blog.csdn.net/qq_42294710/article/details/135561214

方差双期望公式

为了不让自己忘记这个公式，在此纪录推导过程。 $X$ 和 $Y$ 是两个随机变量（向量），那么
$E_{(X,Y)}[g(X,Y)]=E_YE_{X|Y}[g(X,Y)]=E_YE_{X}[g(X,Y)|Y],$
其中 $X$ 和 $Y$ 对称。那么
$\begin{aligned}Var_X(X) &= E_X(X-E_XX)^2 = E_{(X,Y)}(X-E_{X}X)^2\\ & = E_{(X,Y)}(X-E_X[X|Y]+E_X[X|Y]-E_{X}X)^2\\ & = E_{(X,Y)}(X-E_X[X|Y])^2 \\ &\quad+ 2E_{(X,Y)}(X-E_X[X|Y])(E_X[X|Y]-E_{X}X)\\ &\quad+E_{(X,Y)}(E_X[X|Y]-E_XX)^2. \end{aligned}$
其中第二项等于 $0$ ，因为
$E(X,Y)(X−EX[X∣Y])(EX[X∣Y]−EXX)=EYEX∣Y(X−EX[X∣Y])(EX[X∣Y]−EXX)=EY{(EX[X∣Y]−EXX)EX∣Y(X−EX[X∣Y])}=0.\begin{aligned}& E_{(X,Y)}(X-E_X[X|Y])(E_X[X|Y]-E_{X}X)\\&\quad = E_YE_{X|Y}(X-E_X[X|Y])(E_X[X|Y]-E_{X}X)\\ &\quad = E_Y\{(E_X[X|Y]-E_{X}X)E_{X|Y}(X-E_X[X|Y])\}=0. \end{aligned}$
又由于
$E(X,Y)(X−EX[X∣Y])2=EYEX∣Y(X−EX[X∣Y])2=EY[Var(X∣Y)]E(X,Y)(EX[X∣Y]−EXX)2=EYEX∣Y(EX[X∣Y]−EXX)2=VarY[E(X∣Y)].\begin{aligned}&E_{(X,Y)}(X-E_X[X|Y])^2 = E_YE_{X|Y}(X-E_X[X|Y])^2=E_Y[Var(X|Y)] \\& E_{(X,Y)}(E_X[X|Y]-E_XX)^2= E_YE_{X|Y}(E_X[X|Y]-E_XX)^2=Var_Y[E(X|Y)].\end{aligned}$
因此， $Var_X (X) = E_Y[Var(X|Y)] + Var_Y[E(X|Y)]$ 即为方差的双期望公式。通过这个双期望公式，我们可以得出结论样本方差不会小于其条件方差的平均，借助这个思想可以帮助我们更好的理解 Rao-Blackwell 定理。

Rao-Blackwell 定理简述，假设 $T$ 是一个充分统计量， $ψ(X~)\psi(\widetilde{X})$ 是参数 $θ\theta$ 的无偏估计，那么 $g^(T)=E(ψ(X~)∣T)\hat{g}(T) = E(\psi(\widetilde{X})|T)$ 是 $θ\theta$ 的一个方差减小的充分无偏估计。