样本方差与总体方差的区别

最新推荐文章于 2024-01-28 22:13:22 发布

weixin_33922670

最新推荐文章于 2024-01-28 22:13:22 发布

阅读量2.3k

点赞数

原文链接：https://my.oschina.net/sanji/blog/264283

版权

为什么80%的码农都做不了架构师？>>>

之前一直对于样本方差与总体方差的概念区分不清，对于前者不仅多了“样本”两个字，而且公式中除数是N-1，而不是N。现在写下这么写东西，以能彻底把他们的区别搞清楚。

总体方差：

也叫做有偏估计，其实就是我们从初高中就学到的那个标准定义的方差，除数是N。如果实现已知期望值，比如测水的沸点，那么测量10次，测量值和期望值之间是独立的（期望值不依测量值而改变，随你怎么折腾，温度计坏了也好，看反了也好，总之，期望值应该是100度），那么E『（X-期望）^2』，就有10个自由度。事实上，它等于（X-期望）的方差，减去（X-期望）的平方。” 所以叫做有偏估计，测量结果偏于那个”已知的期望值“。

样本方差：

无偏估计、无偏方差（unbiased variance）。对于一组随机变量，从中随机抽取N个样本，这组样本的方差就是Xi^2平方和除以N-1。这可以推导出来的。如果现在往水里撒把盐，水的沸点未知了，那我该怎么办？我只能以样本的平均值，来代替原先那个期望100度。同样的过程，但原先的（X-期望），被（X-均值）所代替。设想一下（Xi-均值）的方差，它不在等于Xi的方差，而是有一个协方差，因为均值中，有一项Xi/n是和Xi相关的，这就是那个"偏"的由来

$S^2=\frac1{n-1}\sum_{i=1}^n(X_i-\overline X )^2$

$E(S^2)=E(\frac1{n-1}\sum_{i=1}^n(X_i-\overline X )^2)=\sigma^2$

证明：

$\large\begin{array}{rcl} D(\overline X)&=&D(\frac1n\sum_{i=1}^nX_i)\\[10pt] &=&\frac1{n^2}D(\sum_{i=1}^nX_i)\\[10pt] &=&\frac1{n^2}(\sum_{i=1}^nD(X_i))\\[10pt] &=&\frac{\sigma^2}n \\[10pt] \\ E({\overline X}^2)&=&D(\overline X)+E^2(\overline X)\\ &=&\frac{\sigma^2}n+\mu^2 \\ \\ E(S^2)&=&E(\frac1{n-1}\sum_{i=1}^n(X_i-\overline X )^2) \\[10pt] &=& \frac1{n-1}E(\sum_{i=1}^n(X_i-\overline X )^2) \\[10pt] &=& \frac1{n-1}E(\sum_{i=1}^n(X_i^2- 2 X_i{\overline X}+{\overline X}^2 ))\\[10pt] \\ E(\sum_{i=1}^nX_i^2)&=&n E(X_i^2) \\ &=& n(D(X_i)+E^2(X_i)) \\ &=& n(\sigma^2+\mu^2) \\ \\ E(\sum_{i=1}^nX_i{\overline X})&=&E({\overline X}\sum_{i=1}^nX_i) \\[10pt] &=& nE({\overline X}^2)\\[10pt] &=& n(D(\overline X) + E^2(\overline X)) \\[10pt] &=& n(\frac{\sigma^2}{n}+\mu^2) \\[10pt] \\ E(S^2) &=& \frac n{n-1}(\sigma^2+\mu^2)-\frac n{n-1}(\frac{\sigma^2}n+\mu^2) \\ &=& \sigma^2 \\ \end{array} $