1.样本方差的公式推导

---

欢迎访问个人网络日志🌹🌹知行空间🌹🌹

---

样本方差的推导

有偏估计和无偏估计

• 有偏估计：由样本值求得的估计值与待估参数的真值之间有系统误差，估计值的期望不是系统的真值
• 无偏估计：估计量的偏差（或偏差函数）是此估计量的期望值与估计参数的真值之差。偏差为零的估计量或决策规则称为无偏的。

我们常见的应用中，样本均值是对总体均值的无偏估计$E(\bar{X})=\mu$，而样本的整体方差不是对总体方差的无偏估计,$E(S^2)=\frac{n}{n-1}{\sigma }^2$。

极大似然估计

“似然”用现代的中文来说即“可能性”，因此可称之为“最大可能性估计”，用来求一个样本集的相关概率密度函数的参数。

定义,假设$X$为离散随机变量，其概率分布函数$P(X=x)=f(x;\theta )$,与参数$\theta$相关。设$X_1,...,X_n$为样本，$x_1,...,x_n$为样本的观测值，样本的似然函数可以定义为样本观测值$x_1,...,x_n$的概率，

$$L(x_1,...,x_n;\theta )=P(X=x_1,...,X_n=x_n)=\prod _{i=1}^{n}f(x_i;\theta )$$

给定样本观测值$x_1,...,x_n$，似然函数$L$是参数$\theta$的函数，这个函数的目的就是求参数$\theta$,使似然函数$L$能取最大值。

例如,$X\sim B(1,p)$,从中取$[1,1,0,0,1]$观测值，此时似然函数$L(p)=p^3(1-p{)}^2,p\in (0,1)$,$B$表示是贝努力分布，要求$p$,就是求能使$L(p)$取最大值的值，$\frac{dL}{dp}=0$,可求得$p=0.6$。

大数定律

定义：设$X_1,...,X_n$是独立同分布的随机变量序列，并且其数学期望$E(X_k)=\mu (k=1,2,...)$，取n个样本的算术平均$\frac{1}{n}\sum _{k=1}^n{X}_k$,对任意的$ϵ>0$有以下不等式成立：

lim ⁡ n → + ∞ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ < ϵ } = 1 \lim_{n\rightarrow+\infty}P\{|\frac{1}{n}\sum\limits_{k=1}^{n}X_k-\mu|\lt \epsilon\}=1 n→+∞lim​P{∣n1​k=1∑n​Xk​−μ∣<ϵ}=1

简单来讲就是，样本均值的期望等于总体的均值。

中心极限定理

独立同分布的中心极限定理：设随机变量序列$X_1,...,X_n$独立同分布，且其数学期望和方差分别为$E(X_k)=\mu ,D(X_k)={\sigma }^2>0(k=1,2,...)$则随机变量之和$\sum _{i=1}^n{X}_k$的标准化变量：

$$Y_n=\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }$$
服从于标准正态分布。

简单来说就是，样本均值服从于期望为总体均值$\mu$,方差为总体方差除以样本数$\frac{{\sigma }^2}{n}$的正态分布，即$\bar{X}\sim N(\mu ,{\sigma }^2/n)$

样本方差

给定一组观测数据$x_1,...,x_n$,计算其总体方差时使用如下公式：

$$S^2=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x}{)}^2$$

$\bar{x}$是样本均值。从上式可以看到，总体方差是样本观测值偏离样本均值误差平方的均值，其衡量了数据的离散程度，方差越大越离散。

从一个连续分布中随机取样得到一组观测值为$x_1,...,x_n$,想要通过观测值估计连续分布的方差，一种自然的想法是使用样本观测值的总体方差$S^2$做为连续分布方差${\sigma }^2$的无偏估计，即假设

$$\begin{array}{rl}{\sigma }^2& =E[S^2]\\ & =E[\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x}{)}^2]\\ & =E[\frac{1}{n}\sum _{i=1}^n(x_i-\mu +\mu -\bar{x}{)}^2]\\ & =E[\frac{1}{n}\sum _{i=1}^n[(x_i-\mu )-(\bar{x}-\mu ){]}^2]\\ & =E[\frac{1}{n}\sum _{i=1}^n[(x_i-\mu {)}^2+(\mu -\bar{x}{)}^2-2(x_i-\mu )(\bar{x}-\mu )]]\\ & =\frac{1}{n}\sum _{i=1}^{n}E[(x_i-\mu {)}^2]+\frac{1}{n}\sum _{i=1}^{n}E[(\mu -\bar{x}{)}^2]-\frac{2}{n}\sum _{i=1}^{n}E[(x_i-\mu )(\bar{x}-\mu )]\\ & =\frac{1}{n}\sum _{i=1}^{n}var[x_i]+\frac{1}{n}\sum _{i=1}^{n}var[\bar{x}]-\frac{2}{n}\sum _{i=1}^{n}E[(x_i-\mu )(\bar{x}-\mu )]\\ & =\frac{1}{n}\sum _{i=1}^n{\sigma }^2+\frac{1}{n}\sum _{i=1}^n\frac{{\sigma }^2}{n}-\frac{2}{n}\sum _{i=1}^{n}E[(x_i-\mu )(\frac{1}{n}\sum _{j=1}^n{x}_j-\mu )]\\ & =\frac{1}{n}n{\sigma }^2+\frac{1}{n}n\frac{{\sigma }^2}{n}-\frac{2}{n}\frac{1}{n}\sum _{i=1}^{n}E[(x_i-\mu )(\sum _{j=1}^n{x}_j-n\mu )]\\ & ={\sigma }^2+\frac{{\sigma }^2}{n}-\frac{2}{n}\frac{1}{n}\sum _{i=1}^{n}E[(x_i-\mu )(\sum _{j=1}^n(x_j-\mu ))]\\ & =\frac{n+1}{n}{\sigma }^2-\frac{2}{n}\frac{1}{n}\sum _{i=1}^n\sum _{j=1}^{n}E[(x_i-\mu )(x_j-\mu )]\end{array}$$

因为$X$是独立变量，$x_i/x_j$相互独立，当$i\ne j$时,$E[(x_i-\mu )(x_j-\mu )]=0$
$$\begin{array}{rl}E[S^2]& =\frac{n+1}{n}{\sigma }^2-\frac{2}{n}\frac{1}{n}\sum _{i=1}^n\sum _{j=1}^{n}E[(x_i-\mu )(x_j-\mu )]\\ & =\frac{n+1}{n}{\sigma }^2-\frac{2}{n}\frac{1}{n}\sum _{i=1}^{n}E[(x_i-\mu {)}^2]\\ & =\frac{n+1}{n}{\sigma }^2-\frac{2}{n}\frac{1}{n}\sum _{i=1}^{n}var[x_i]\\ & =\frac{n+1}{n}{\sigma }^2-\frac{2}{n}\frac{1}{n}n{\sigma }^2\\ & =\frac{n-1}{n}{\sigma }^2\end{array}$$

由上面的公式可以知道，样本观测值的总体方差的期望不等于随机变量分布的方差，因此样本观测值的总体方差不是随机变量分布方差的无偏估计。

$$E[S^2]=\frac{n-1}{n}{\sigma }^2$$
上式左右两边同时乘以$\frac{n}{n-1}$,得
$${\sigma }^2=\frac{n}{n-1}E[S^2]$$

$${\sigma }^2=E[\frac{n}{n-1}{S}^2]$$

因此能做为总体偏差无偏估计的样本偏差的计算公式为：

$${\sigma }^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2$$

为什么分母是$n-1$时，才能得到无偏的总体方差估计呢？ 产生偏差的本质是因为均值用的是样本均值$\bar{x}$而非总体均值$\mu$,这导致采样出来的样本之间不是完全相互独立的，自由度从$n$减少了1,变成了$n-1$。$\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$,当给定$\bar{x}$和任意$n-1$个观测值时，剩下一个变量值都可以确定下来，因此只有$n-1$个自由度，因此除以$n-1$可以得到无偏估计。

---

欢迎访问个人网络日志🌹🌹知行空间🌹🌹

---

• 1.https://bookdown.org/hezhijian/book/intro.html#section-1.1.3
• 2.https://www.statlect.com/fundamentals-of-statistics/variance-estimation
• 3.https://amsi.org.au/ESA_Senior_Years/SeniorTopic4/4h/4h_2content_4.html
• 4.https://rpubs.com/sagni2047/proofsamplevariance