（协）方差的归一化因子

ad转化器

已于 2023-10-06 20:36:48 修改

阅读量158

点赞数

分类专栏：数学文章标签：概率论

于 2023-10-06 17:16:43 首次发布

本文链接：https://blog.csdn.net/gqrblnp/article/details/133606979

版权

数学专栏收录该内容

5 篇文章 0 订阅

订阅专栏

随机变量 $X$ ，假定其实际均值和方差为 $\mu$ 和 $\sigma^2$ ，则 $\mu$ 和 $\sigma^2$ 的定义为：

$\mu=\mathbb{E}(X)$

$\sigma^2=\mathbb{E}\left[\left(X-\mathbb{E}(X)\right)^2\right]$

通过推导可以得到：

$\begin{aligned} \sigma^2 &=\mathbb{E}\left[\left(X-\mathbb{E}(X)\right)^2\right] \\ &=\mathbb{E}\left[X^2-2X\mathbb{E}(X)+\mathbb{E}(X)^2\right] \\ &=\mathbb{E}(X^2)-2\mathbb{E}(X)^2+\mathbb{E}(X)^2 \\ &=\mathbb{E}(X^2)-\mathbb{E}(X)^2\end{aligned}$

（1）如果分布的真实均值 $\mu$ 已知

采样得到 $N$ 个样本 $x_1,\cdots,x_N$ ，利用样本对整体进行估计，估计的方差为 $\hat{\sigma}^2$ ，则：

$\hat{\sigma}^2=\frac{1}{N} \sum_{i=1}^{N}\left(x_i-\mu\right)^2$

对估计进行评估：

$\begin{aligned} \mathbb{E}[\hat{\sigma}^2] & =\mathbb{E}\left[\frac{1}{N} \sum_{i=1}^N\left(x_i-\mu\right)^2\right] \\ & =\frac{1}{N} \sum_{i=1}^N \mathbb{E}\left[\left(x_i-\mu\right)^2\right] \\ & =\frac{1}{N} \sum_{i=1}^N \mathbb{E}\left[x_i^2-2 x_i \mu+\mu^2\right] \\ & =\frac{1}{N}\left(N \mathbb{E}\left[x_i^2\right]-2 N \mu \mathbb{E}\left[x_i\right]+N \mu^2\right) \\ & =\frac{1}{N}\left(N \mathbb{E}\left[x_i^2\right]-2 N \mu^2+N \mu^2\right) \\ & =\frac{1}{N}\left(N \mathbb{E}\left[x_i^2\right]-N \mu^2\right) \\ & = \mathbb{E}\left[x_i^2\right]- \mu^2\\ & = \mathbb{E}\left[X^2\right]- \mathbb{E}(X)^2 \\ & = \sigma^2\end{aligned}$

值得注意的是，推导过程中用到了两个性质：

$\mathbb{E}[x_i]=\mathbb{E}[X]=\mu$

$\mathbb{E}[x_i^2]=\mathbb{E}[X^2]$

此时，样本估计的方差 $\hat{\sigma}^2$ 是真实方差 $\sigma^2$ 的无偏估计

（2）如果分布的真实均值未知

采样得到 $N$ 个样本 $x_1,\cdots,x_N$ ，利用样本对整体进行估计，估计的均值和方差为 $\hat{\mu}$ 和 $\hat{\sigma}^2$ ，则：

$\hat{\mu}=\frac{1}{N} \sum_{i=1}^N\left(x_i\right)$

$\hat{\sigma}^2=\frac{1}{N-1} \sum_{i=1}^{N}\left(x_i-\hat{\mu}\right)^2$

1）对估计的均值 $\hat{\mu}$ 进行评估：

$\mathbb{E}[\hat{\mu}]=\mathbb{E}\left[\frac{1}{N} \sum_{i=1}^N\left(x_i\right)\right]=\frac{1}{N} \sum_{i=1}^N \mathbb{E}\left[x_i\right]=\frac{1}{N} N \mathbb{E}\left[x_i\right]=\frac{1}{N} N \mu=\mu$

值得注意的是，推导过程中用到了一个性质：

$\mathbb{E}[x_i]=\mathbb{E}[X]=\mu$

2）对估计的均值 $\hat{\sigma}^2$ 进行评估：

首先对 $\hat{\sigma}^2$ 的式子进行进一步的推导：

$\begin{aligned} \hat{\sigma}^2&=\frac{N}{N-1}\frac{1}{N} \sum_{i=1}^N\left(x_i-\hat{\mu}\right)^2 \\ & =\frac{N}{N-1}\frac{1}{N} \sum_{i=1}^N\left(x_i-\frac{1}{N} \sum_{i=1}^N\left(x_i\right)\right)^2 \\ & =\frac{N}{N-1}\frac{1}{N} \sum_{i=1}^N\left[x_i^2-2 x_i \frac{1}{N} \sum_{i=1}^N\left(x_i\right)+\left(\frac{1}{N} \sum_{i=1}^N\left(x_i\right)\right)^2\right] \\ & =\frac{N}{N-1}\left(\frac{\sum_{i=1}^N x_i^2}{N}-\frac{2 \sum_{i=1}^N x_i \sum_{i=1}^N x_i}{N^2}+\left(\frac{\sum_{i=1}^N x_i}{N}\right)^2 \right ) \\ & =\frac{N}{N-1}\left(\frac{\sum_{i=1}^N x_i^2}{N}-2\left(\frac{\sum_{i=1}^N x_i}{N}\right)^2+\left(\frac{\sum_{i=1}^N x_i}{N}\right)^2 \right ) \\ & =\frac{N}{N-1}\left(\frac{\sum_{i=1}^N x_i^2}{N}-\left(\frac{\sum_{i=1}^N x_i}{N}\right)^2 \right ) \end{aligned}$

进行评估：

$\begin{aligned} \mathbb{E}[\hat{\sigma}^2] & =\mathbb{E}\left[\frac{N}{N-1}\left(\frac{\sum_{i=1}^N x_i^2}{N}-\left(\frac{\sum_{i=1}^N x_i}{N}\right)^2 \right )\right] \\ & =\frac{N}{N-1}\left(\frac{\sum_{i=1}^N \mathbb{E}\left[x_i^2\right]}{N}-\frac{\mathbb{E}\left[\left(\sum_{i=1}^N x_i\right)^2\right]}{N^2} \right ) \\ & =\frac{N}{N-1}\left(\mathbb{E}\left[X^2\right]-\frac{\mathbb{E}\left[\left(\sum_{i=1}^N x_i\right)^2\right]}{N^2} \right ) \\ & =\frac{N}{N-1}\left(\mathbb{E}\left[X^2\right]-\frac{\mathbb{E}\left[\sum_{i=1}^N x_i^2+\sum_i^N \sum_{j \neq i}^N x_i x_j\right]}{N^2} \right ) \\ & =\frac{N}{N-1}\left(\mathbb{E}\left[X^2\right]-\frac{\mathbb{E}\left[N\left(\mathbb{E}\left[x_i^2\right]\right)+\sum_i^N \sum_{j \neq i}^N x_i x_j\right]}{N^2} \right ) \\ & =\frac{N}{N-1}\left(\mathbb{E}\left[X^2\right]-\frac{N\left(\mathbb{E}\left[X^2\right]\right)+\sum_i^N \sum_{j \neq i}^N \mathbb{E}\left[x_i\right] \mathbb{E}\left[x_j\right]}{N^2} \right ) \\ & =\frac{N}{N-1}\left(\mathbb{E}\left[X^2\right]-\frac{N\left(\mathbb{E}\left[X^2\right]\right)+N(N-1) \mathbb{E}\left[X\right]^2}{N^2} \right ) \\ & =\frac{N}{N-1}\left(\mathbb{E}\left[X^2\right]-\frac{\mathbb{E}\left[X^2\right]+(N-1) \mathbb{E}\left[X\right]^2}{N} \right )\\ & =\frac{N}{N-1}\left(\frac{N-1}{N}\left(\mathbb{E}\left[X^2\right]-\mathbb{E}\left[X\right]^2 \right ) \right ) \\ &=\sigma^2\end{aligned}$