无偏估计量

 

目录

1 定义

2 实际意义

3 结论

3.1 结论一

3.2 结论二

4 应用

5 如何理解无偏估计量？

5.1 无偏性

5.2 有效性

5.3 一致性

5.4 总结

---

参考百度百科：https://baike.baidu.com/item/%E6%97%A0%E5%81%8F%E4%BC%B0%E8%AE%A1%E9%87%8F/303853?fr=aladdin

1 定义

      对于待估参数，不同的样本值就会得到不同的估计值。这样，要确定一个估计量的好坏，就不能仅仅依据某次抽样的结果来衡量，而必须由大量抽样的结果来衡量。对此，一个自然而基本的衡量标准是要求估计量无系统偏差。也就是说，尽管在一次抽样中得到的估计值不一定恰好等于待估参数的真值，但在大量重复抽样时，所得到的估计值平均起来应与待估参数的真值相同，换句话说，希望估计量的均值（数学期望）应等于未知参数的真值，这就是所谓无偏性（Unbiasedness）的要求。数学期望等于被估计的量的统计估计量称为无偏估计量。

        设  是来自总体X的一个样本，θ是包含在总体X的分布中的待估参数。若估计量  

的数学期望  存在，且有  ，则称  是θ的无偏估计量。

2 实际意义

        在科学技术中，  称为以  作为θ的估计的系统误差，无偏估计的实际意义就是无系统误差。例如，设总体X的均值?及方差σ²都存在但均未知，因为  ，  ，这就是说不论总体服从什么分布，其样本均值是总体均值的无偏估计，样本方差是总体方差的无偏估计。若  ，则称  是θ的渐进无偏估计量。

3 结论

3.1 结论一

        设总体X的k阶中心矩  存在，  是X的一个样本，不论X服从什么分布， 

是  的无偏估计量。特别地，不论X服从什么分布，只要E(X)存在，  总是E(X)的无偏估计。

证明：

        因为  与X同分布，所以  。

          

注：距的初步理解：https://www.jianshu.com/p/c4aaa8ddb02f?mType=Group

       k阶矩、原点矩、中心距： https://blog.csdn.net/u013066730/article/details/95978646

       中心距：https://baike.baidu.com/item/%E4%B8%AD%E5%BF%83%E7%9F%A9/4111480?fr=aladdin

3.2 结论二

        对于总体X，设E(X)=?，D(X)=σ²都存在，且σ²>0，若?，σ²均未知，则σ²的估计量

是有偏的。另一方面，由于  ，所以  是σ²的渐进无偏估计量。

证明：

因为  ，而

故

所以

  是σ²的有偏估计。若在  的两边同乘  ，即  ，而  。

        可见样本方差S²可以作为方差σ²的估计，而且是无偏估计。因此常用S²作为方差σ²的估计量。从无偏估计量的角度考虑，S²比二阶中心矩作为  的估计好。

        为什么样本方差（sample variance）的分母是 n-1？：https://www.matongxue.com/madocs/607.html

4 应用

        在实际应用中，对整个系统（整个实验）而言无系统偏差，就一次实验来讲，  可能偏大也可能偏小，实质上并说明不了什么问题，只是平均来说它没有偏差，所以无偏性只有在大量的重复实验中才能体现出来；另一方面，无偏估计只涉及一阶矩（均值），虽然计算简便，但往往会出现一个参数的无偏估计有多个，而无法确定哪个估计量好。因此，无偏性的作用在于可以把重复估计中的各次误差通过平均来消除。这并不意味着该估计量在一次使用时并能获得良好的结果。在具体问题中，无偏性是否合理，应当结合具体情况来考虑。在有些问题中，无偏性的要求可能会导出不同的结果来。

        事实上，  中的每一个均可作为θ的无偏估计量，究竟哪个估计量更合理，就看哪个估计量的观察值更接近真实值，即估计量的观察值更密集地分布在真实值附近。而方差能反映随机变量取值的分散程度，所以无偏估计以方差最小者为最好、最合理，为此后人引进了估计量的有效性概念。

5 如何理解无偏估计量？

       参考：https://www.matongxue.com/madocs/808.html

        现实中常常有这样的问题，比如，想知道全体女性的身高均值，但是没有办法把每个女性都进行测量，只有抽样一些女性来估计全体女性的身高：

那么根据抽样数据怎么进行推断？什么样的推断方法可以称为“好”？

5.1 无偏性

比如说我们采样到的女性身高分别为：

                         

那么：

是对不错的一个估计，为什么？因为它是无偏估计。

首先，真正的全体女性的身高均值，我们是不知道，只有上帝才知道，在图中就画为虚线：

我们通过采样计算出：

会发现，不同采样得到的是围绕左右波动的：

这有点像打靶，只要命中在靶心周围，还算不错的成绩：

如果用以下式子去估计方差：

          

就会产生偏差：

        

这个偏差经过计算，就是：

详见  ：为什么样本方差（sample variance）的分母是 n-1？：https://mp.csdn.net/postedit/99563251

5.2 有效性

        指估计量与总体参数的离散程度，如果两个估计量都是无偏的，那么离散程度较小的估计量相对来说是有效的，离散程度用方差来衡量。

打靶的时候，右边的成绩肯定更优秀：

        

       进行估计的时候也是，估计量越靠近目标，效果越“好”。这个“靠近”可以用方差来衡量。

       比如，仍然对进行估计，方差越小，估计量的分布越接近：

          

有效估计和无偏估计是不相关的：

举个例子，从中抽出10个样本：

下面两个都是无偏估计量：

但是后者比前者方差小，后者更有效。

并且在现实中不一定非要选无偏估计量，比如：

           

如果能接受点误差，选择右边这个估计量更好。

注：有效估计值(https://baike.baidu.com/item/%E6%9C%89%E6%95%88%E4%BC%B0%E8%AE%A1%E5%80%BC/521602)：

        有效估计值是指在诸多无偏估计值中具有最小方差的无偏估计值，是在无偏估计基础上的一种估计方法。

（1）前提

         无偏估计是用样本统计量来估计总体参数时的一种无偏推断。估计量的数学期望等于被估计参数的真实值，则称此此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值。无偏估计常被应用于测验分数统计中  。

        具有最小方差的无偏估计的判别方法如下：

        设  是  的一个无偏估计，  若对任何满足条件：  的统计量  ，有

                                     

        则无偏估计  是  的最小方差无偏估计。

（2）定义

        由样本值求得的估计值，方差越小，估计值接近待估参数的概率越大，种特性称为估计的有效性 [2]  。

        设  是  的一个无偏估计，若

                            ，

           则  是  的有效估计。

           因为多次测定的平均值比单次测定值具有更好的精密度，因此，用平均值要比单次测定值xi作为总体均值μ的估计值更有效。在正态分布中，不知总体分布时，均值仍然可以作为分布的无偏估计值，但不是有效的。有结果(Gauss-Markov Theorem)指向这个结论，均值比总体均值μ的其他线性无偏估计值拥有更小的方差。

（3）性质

(1)设  是  的任一无偏估计，称

                    

        为估计量的效率，且显然  。

(2)如果无偏估计量的效率满足

                       

         则称  为渐进有效估计。

(3)如果  为有效估计，则它也是最小方差无偏估计，但反之却不成立。

5.3 一致性

     之前说了，如果用以下式子去估计方差：

会有一个偏差：

可以看到，随着采样个数的增加，这个偏差会越来越小。那么这个估计就是“一致”的。

如果样本数够多，其实这种有偏但是一致的估计量也是可以选的。

5.4 总结

判断一个估计量“好坏”，至少可以从以下三个方面来考虑：

• 无偏
• 有效
• 一致

实际操作中，要找到满足三个方面的量有时候并不容易，可以根据情况进行取舍。