参数估计:极大似然估计、矩估计的基本概念及应用方法

来源:首席数据科学家

今天分享一下关于参数估计的基本概念。尤其是极大似然估计,有着重要的应用。

01

参数估计的定义

首先,什么是参数估计呢?

之前我们其实已经了解到很多种分布类型了,比如正态分布、均匀分布、泊松分布等。拿正态分布举例,决定正态分布的有两个参数:均值和方差。因此,参数就是决定分布的关键性数据。知道了参数,也就是知道了分布的详细内容。

问题来了,总体的分布类别如果我们知道了,是不是只要知道分布的参数,就能知道总体的分布详情?是的。那如何能知道总体分布的参数数值呢?这就是参数估计。即,用样本的数据来构造函数(即统计量),来估计总体参数,这就是参数估计。

上图就是用样本统计量估计总体的过程。这也是统计学的重要意义之一。

02


点估计和区间估计

首先,什么是点估计和区间估计?

点估计就是用一个数值对对总体参数给出估计;而区间估计是在点估计基础上,给定一个具体的估计范围。

例如,估计中国全部人口的平均身高。161cm就是一个点估计,150cm~173cm就是一个区间估计。

区间估计和置信度相绑定。即估计的区间覆盖真实参数的概率。

常用的区间估计和点估计方法见下图:

其中矩估计、极大似然估计在下文中展开。区间估计下次分析。

03


矩估计法

什么是矩估计呢?

矩估计比较好理解,就是用样本的矩直接作为总体矩的估计值。啥意思呢?就是我们将样本的矩计算出来,直接作为总体的矩即可。

当然,这里的阶数要保持一致。及样本的一阶矩估计总体一阶矩,样本二阶矩估计总体的二阶矩……

从以上定义中也可以看出来,矩估计法是一种点估计的方法。

04


极大似然估计法

极大似然估计,是另一种点估计方法,也是机器学习等学科中经常使用到的方法。简直就是重中之重。

(1)基本定义

定义:使样本事件发生概率最大的参数值,作为总体参数的估计值,就是极大似然估计

怎么理解呢?举个例子。

比如箱子中有100个球,共两种颜色白和黑。已知白球和黑球的比例是1:99(但不知道谁是1)。目标是估计箱子中什么颜色是99个。随机抽取一个球,发现是白球。那么从直观上讲,是不是大概率箱子中是99个白球?当然也有可能箱子中是99个黑球,正好有1个白球还正好被抽到了。但是明显这种情况概率较小。

上面这个例子,就是极大似然估计的过程。选择的是概率最大的参数。

(2)极大似然估计的应用过程

极大似然估计的应用方法,通常遵循以下步骤:

  • 步骤一:写出总体的概率/密度函数

当总体是离散型变量时,写的是概率函数;当总体是连续型函数时,写的是密度函数。

  • 步骤二:写出似然函数

构造似然函数如下:

从上面的公式中,其实就是将每个样本观测值带入总体概率函数中,求所有样本的概率连乘。这个连乘,就是关于总体参数的一个似然函数。

似然函数有了,下面,我们的目标就是求使得该函数取最大值时的参数值,这个参数值就将作为一个总体参数的极大似然估计。

  • 步骤三:两边取ln

由于通常似然函数都是连乘的形式,不容易取到最值,因此采用取ln的方式,将连乘变形为加法。

  • 步骤四:两边求导,令导数=0,求参数

通常情况下,最值都是在导数为0的地方取到,这里令导数=0,求参数。即此时的参数值,使得导数为0,取得整体似然函数的最大值。即,此时的参数值是整体参数的极大似然估计。

当然,如果是多个参数的情况下,这里则分别对每个参数求偏导数,令偏导数为0,分别求各个参数的极大似然估计。

05


点估计优良性的判断准则

上面我们讲到的两种点估计方法。那如何判断一个点估计是好还是坏呢?这就是点估计的优良性判断,主要有以下3个准则:无偏性、有效性、相合性(一致性)。


(1)无偏性

无偏性的含义是:用样本估计的参数值的期望,等于真实值。

这个其实很好理解。我们进行参数估计不就是为了尽可能“猜”出总体参数的数值嘛,如果连期望都不相等,那岂不是基本就估计错了么……

上图就是样本的期望明显和靶心(总体参数)有系统性偏差,显然不是好的估计。

因此,无偏估计是要明显好于有偏估计的。有以下 结论:

  • 样本均值是总体均值的无偏估计

  • 样本方差是总体方差的无偏估计(修正后的,分母是n-1。对,就是为了使得样本方差是无偏的。未修正的,就是有偏估计)

(2)有效性

有效性的含义是:用样本估计的参数值的方差,如果越小,就越有效。

上图就比较清楚的反映了。两个估计都是无偏的,但是第二个估计明显更集中,方差更小,因此效果也就更好。因为更加容易和真实值(即总体参数)相近。

因此,对于多个估计,如果都是无偏的,我们优先选择有效性更强的作为总体的估计。

(3)相合性(一致性)

相合性的含义是:当样本量越来越大的时候,估计值和真实值的距离越来越小。

这个比较好理解,就不展开了。

关于参数估计、极大似然估计等,今天分享到这里,欢迎继续关注~

---------End---------

 后台回复「微信群」,将邀请加入读者交流群。

《Python知识手册》| 《Markdown速查表》|《Python时间使用指南》|《Python字符串速查表》|《SQL经典50题》|《Python可视化指南》|《Plotly可视化指南》|《Pandas使用指南》|《机器学习精选》

????分享、点赞、在看,给个三连击呗!???? 
  • 3
    点赞
  • 0
    评论
  • 5
    收藏
  • 扫一扫,分享海报

©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值