一、参数的点估计
1、参数估计和假设检验是统计推断的核心内容,它们具有深刻的统计思想内涵,是各种数理统计方法的基础。
2、在很多情况下,人们根据经验对总体的分布形式是可以事先确定的,但对其中的某些参数(比如总体均值、方差等)并不清楚。参数估计就是根据样本对总体未知参数的取值进行估计的一种统计推断方法。本节中使用表示总体的待估参数,
表示参数空间,也就是
所有可能取值的集合。
3、参数估计的形式有两种:
(1)一种是点估计,就是根据样本构造一个统计量,然后用
去估计
。称
为
的估计量,称
为
的估计值。点估计有两种常用方法,矩估计法、最大似然估计法。
(2)另一种是区间估计,就是根据样本构造两个统计量和
,且
<
,然后用区间
估计
,并对事件“区间
包含
”发生的概率给予一定的保证。
4、矩估计法是用样本的k阶原点矩作为总体的k阶原点矩的估计,进而求解未知参数的一种估计方法。步骤为:
设总体X的未知参数。总体X的k阶原点矩
存在,它们显然是
的函数,不妨记
。设样本
的k阶原点矩为
。根据大数定律,
的一个合理的估计是样本的k阶原点矩
。故有方程组
若上述方程式有唯一解
则得到的估计量称为未知参数的
的矩估计量。
不论总体服从什么分布,其均值的矩估计量就是样本均值,方差的矩估计量与样本方差相差一个因子。
矩估计法只要求知道总体的适当阶原点矩存在,并不要求知道总体的分布类型,但是矩估计法有两点不足:一是求解所要求的总体的某阶原点矩可能不存在,二是求解方程组可能很困难。
5、最大似然估计:设总体X含有待估参数,参数空间为
。我们要在
中选取一个
,使得
时,样本观测结果即事件
出现的概率
达到最大值,我们称
为
的最大似然估计。
求最大似然估计关键有两步:一是的表达式,二是
的极值解。
(1)若总体X是离散型的,
(2)若总体X是连续型的,
称为样本的似然函数。求
的最大值解常需要求导,为求导方便,一般对似然函数求对数
,称之为对数似然函数。
的最大似然估计
可有由似然方程
解得
注:求解似然方程(组)得到后,还需要验证
在
处是否取最大值。另外,有时
不是
的连续可导函数,有时参数空间是有界区域,此时不能用求解似然方程(组)的方法,一般利用定义进行判断分析求解。矩估计和最大似然估计有时并不一致。
6、参数的点估计是构造一个统计量作为参数取值的估计,矩估计法和最大似然估计法只是构造参数统计量的两种常用方法。与参数的真值偏离程度越小的估计量越好。通常用偏差平方的期望来衡量估计量
的偏离程度,并称为均方误差(MSE),记作
。显然,均方误差越小的估计量越好。如果存在一个估计量
,在所有的估计量中,它的均方误差最小,则称
为
的最优估计量。均方误差可分解为两项
(1)无偏性:设是未知参数
的估计量。若
,则称
是
的无偏估计,否则称为有偏估计。若
,则称
是
的渐近无偏估计。
只要总体均值存在,样本均值总是它的无偏估计;只要总体方差存在,样本方差总是其无偏估计。
(2)有效性:设,
都是参数
的无偏估计,如果
,则称估计量
和
有效。进一步,若对于
的任一无偏估计
,有
,则称
是
的最小方差无偏估计。
(3)相合性(一致性):设对每一个自然数n,统计量都是未知参数
的一个估计量,若对任意的
,有
,则称
是
的相合(一致)估计。
设是
的一个估计量,若
,则
是
的相合估计。
二、参数的区间估计
1、设,
是两个统计量,且
,
是总体X的未知参数,若对给定的
,有
。则称随机区间
是
的一个区间估计或置信区间。
和
分别称为置信下限、置信上限,
称为置信水平或置信度。
置信区间的长度描述了估计的“精确性”。置信区间的长度越小,则估计越精确;置信区间的长度越大,则估计越不精确。一般来说,当样本容量n固定后,置信水平要求越高,则精确性(置信区间的长度)就越差。处理的方法是固定置信水平,精确性尽可能地高,也可以增加样本容量n,使得置信水平和精确性都达到满意地要求。
2、求解置信区间的方法:
(1)找一个与要估计的参数有关的统计量T,一般是
的一良好点估计
;
(2)设法找出T和的某一函数
,要求
的分布已知且与
无关,
称为枢轴变量。
(3)寻找合适的常数c,d,使
(4)将不等式等价变换为
,所以
故随机区间即为参数
的置信水平为
的置信区间。
表1 单个正态总体的参数区间估计表(置信水平为
)
待估参数 | 条件 | 枢轴变量及其分布 | 置信区间 |
均值 | 方差 | ||
方差 | |||
方差 | 均值 | ||
均值 |
表2 两个正态总体均值差、方差比的区间估计表(置信水平为
)
待估参数 | 条件 | 枢轴变量及其分布 | 置信区间 |
注:在表2中,符号表示来自总体
的样本,
表示来自总体
的样本,两样本假定相互独立。
及
分别表示两样本的均值和方差。
三、假设检验
1、已知总体的分布形式,只对总体的某些未知参数取值作出假设,通过抽样来判断假设是否成立,这种检验称为参数检验。如果不知道总体分布的具体类型,只对未知分布函数的类型或者它的某些特性提出假设,然后对这种假设进行检验,这种检验称为非参数检验。参数检验和非参数检验称为假设检验。
2、假设检验的步骤:
(1)建立假设
得到,通常称
为原假设,称
为备选假设。假设检验的目的是在两者之间选择其一。
(2)选取检验统计量
求出成立时检验统计量的分布,并与
成立时统计量的分布进行比较,从而得到对
不利的事件。
(3)选取检验的显著性水平与临界值,进而确定
的拒绝区域
显著性水平就是所谓的小概率的具体数值,它一般事先给定。临界值表示使对
不利的小概率事件发生的统计量的取值界限。临界值通常根据统计量分布的分位数确定。
(4)作判断
计算统计量的观测值,并与临界值比较,即考察对不利的小概率事件是否发生。若发生,则拒绝
,接受
;反之,则接受
。
3、原假设与备选假设的选取原则
(1)把研究者要证明的结论作为备选假设;
(2)把研究者要反对的假设作为原假设;
(3)把现状作为原假设;
(4)把不能轻易否定的假设作为原假设。原假设通常处于“被保护”的地位。
4、可以将假设检验归纳为
如果集合或
为单点集合,则这样的假设称为简单假设,如果集合
或
是多点集合,则这样的假设称为复合假设。
在数轴上,如果集合位于集合
的两侧,则这种类型的参数检验称为双侧检验;如果集合
位于集合
的右侧,则这种类型的参数检验称为右侧检验;如果集合
位于集合
的左侧,则这种类型的参数检验称为左侧检验;右侧检验和左侧检验统称为单侧检验。
5、犯错误,就是检验得到的结论与实际情况不符。有两种情况:
一是原假设成立,而检验的结果是拒绝了
;
二是备择假设成立,而检验的结果是接受了
。
(1)当原假设为真时,而样本落在拒绝区域
中,根据判别法则,应做出拒绝
的判断,称这类错误为第一类错误或“弃真”错误。犯第一类错误的概率,通常记为
。
(2)当备择假设为真时,而样本落在
的接受区域
中,根据判别法则,应做出接受
的判断,称这类错误为第二类错误或“存伪”错误。犯第二类错误的概率,通常记为
判断结果 | 实际情况 | |
拒绝 | 第一类错误 | 正确 |
接受 | 正确 | 第二类错误 |
给定后,若样本容量n固定,
取值越小,
越大,犯第二类错误的概率
将越大;若
固定,当样本容量n增大时,
的取值将变小。所以要使得
都达到很小,一般通过适当增加样本容量n来实现。
6、对于一个假设检验问题,当显著性水平给定后,检验的结果要么拒绝原假设要么接受原假设,但显然假设检验的结果受到
数值的影响。在假设检验问题中,利用样本观测值能够做出拒绝原假设的最小显著性水平,称为检验的
值。
四、正态总体参数的假设检验
1、关于均值的检验
(1)已知
选择为检验统计量。当
成立时,统计量
。统计量
的绝对值偏大,说明
与
相差偏大,此时应拒绝
。
故对于给定的显著性水平,选取临界值
满足
从而得到拒绝域为
这种以作为检验统计量的检验称为
检验。
(2)未知
选择作为检验统计量。当
成立时,统计量
。统计量
的绝对值偏大,说明
与
相差偏大,此时应拒绝
。
故对于给定的显著性水平,选取临界值
满足
从而得到拒绝域为
这种以分布作为检验统计量的检验称为
检验。
2、关于方差的检验
(1)已知
选择作为检验统计量。当
成立时,
。检验统计量
的取值偏大或偏小时,说明相差较大,此时应拒绝
。
故对于给定的显著性水平,选取临界值
分别满足
从而得到拒绝域为
或
这种以分布作为检验统计量的检验称为
检验。
(2)未知
选择作为检验统计量。当
成立时,
。统计量
的取值偏大或偏小时,说明样本方差
与
相差偏大,此时应拒绝
。
故对于给定的显著性水平,选取临界值
分别满足
从而得到拒绝域为
或
这种以分布作为检验统计量的检验称为
检验。
3、两个正态总体的假设检验
(1)未知,检验假设
由于样本方差是总体方差
的良好估计,一般情况下二者相差不大。因而当
成立时,比值
的值不应过大,也不应过小,否则就应拒绝
。可选择
作为检验统计量。当
成立时,
。若
的取值偏大或偏小,应拒绝
。
故对于给定的显著性水平,选取临界值
,分别满足
从而得到拒绝域为
或
(2)未知,但
,检验假设
选择检验统计量,其中
表1 单正态总体的假设检验表(显著性水平为
)
条件 | 原假设 | 备择假设 | 检验统计量 | 拒绝域 |
或 | ||||
或 | ||||
表2 两个正态总体的假设检验表(显著性水平为
)
条件 | 原假设 | 备择假设 | 检验统计量 | 拒绝域 |
但 | ||||
或 | ||||
或 | ||||