无偏估计

最新推荐文章于 2024-01-27 21:05:42 发布

你吃过卤汁牛肉吗

最新推荐文章于 2024-01-27 21:05:42 发布

阅读量2.8w

点赞数 63

分类专栏：深度学习深度学习和机器学习需要的数学知识

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/u012370185/article/details/94590902

版权

深度学习同时被 2 个专栏收录

27 篇文章

订阅专栏

深度学习和机器学习需要的数学知识

6 篇文章

订阅专栏

0. 无偏估计简介

估计是用样本统计量（可以理解为随机抽样）来估计总体参数时的一种无偏推断。

无偏估计的要求就是：估计出来的参数的数学期望等于被估计参数的真实值。（如： $\bar{X}$ 是总体参数 $\mu$ 的估计量，而 $\mu$ 是被估计参数）（无偏性是一种评价估计量优良性的准则）

无偏估计的意义：在多次重复下，估计量的平均值 ≈ 被估计参数真值

所以呢,可以看出：估计值也是一个变量，因为是随机的嘛。真实值谁也不知道啊（因为你不可能把列出无限的实验结果来，除了可能通过数学计算得到的常见的分布）。

1. 无偏估计的用途

问题引入：

现实中想要知道全体女性的身高均值 $\mu$ , 但是无法对所有女性测量身高，只有通过抽样一些女性，然后来估计全体女性身高的均值

2. 无偏估计的计算公式推导

给定一组服从一定分布的随机变量，它真实的均值和方差分别用 $\mu$ 和 $\sigma^2$ 表示，即 $E(X)=\mu, \,D(X) = \sigma^2=E((X-\mu)^2)$

以女性的身高为例：

假设我们采样到的n个女性身高数据为 $x_i(i= 1,2,...,n)$

则样本统计的均值为

$\bar{X}=\frac{\sum_{i=1}^n x_i}{n}$

方差为

$S^2=\frac{1}{n}\sum_{i=1}^n(x_i - \bar{X})^2$

此时 $\barX$ $\bar{X}$ 是总体参数 $\mu$ 的无偏估计。

样本均值是否是无偏估计？

即判断 $E(\bar{X})=\mu$ 是否成立

推导：

$E(\bar{X})=E(\frac{\sum x_i}{n})=\frac{\sum E(x_i)}{n}=\frac{\sum \mu}{n}=\mu$

所以，是

样本方差是否是无偏估计？

即判断 $E(S^2)=\sigma ^2$ 是否成立

推导：（为什么样本方差的分母是n-1?）

所以 $S^2$ 不是 $\sigma^2$ 的无偏估计。

$S^2=\frac{n-1}{n}\sigma^{2}$ ，也就是低估了 $\sigma^2$

所以，可以通过对 $S^2$ 做个调整，让它变为 $\sigma^2$ 的无偏估计，即

$\frac{n}{n-1}S^2=\frac{n}{n-1} \cdot \frac{1}{n}\sum(x_i - \bar{X})^2=\frac{1}{n-1}\sum(x_i - \bar{X})^2$

所以 $\sigma^2$ 的无偏估计为：

$\sigma^2=\frac{1}{n-1}\sum(x_i - \bar{X})^2$

3. 无偏估计的直观理解

以打靶为例：

左图都是无偏的，因为都在靶心周围，那么期望就是靶心

4. 判断估计量好坏的三种标准

判断一个估计量“好坏”，至少可以从以下三个方面来考虑：

无偏
有效
一致

有效性

有效性越高就说明，估计量的方差更小，估计量更靠近目标值

就像上两张图所示，可能满足无偏性，但是右边的更符合有效性

一致性

实际操作中，要找到满足三个方面的量有时候并不容易，可以根据情况进行取舍。

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。