1.假设检验基本原理
参数估计和假设检验是统计推断两个重要组成部分,但是推断的角度不同。参数估计是利用样本统计量估计总体参数的方法,总体参数未知。而假设检验根据历史数据或者经验先对总体未知参数或者分布情况提出一个假设,然后利用样本信息,去检验这个假设是否成立。那么假设是否成立判断的依据是小概率原理,即在一次抽样实验中,小概率事件几乎不可能发生,如果发生了,就有很大的把握否定该假设(这里的否定其实不是完全的否定,而是基于一定概率概率的否定,因此也有可能犯错误,犯错误的概率就是我在第三部分讲的第一类错误,也是显著性水平)不过为什么第一类错误的概率就是显著性水平还是一个值得我思考的问题。《女士品茶》这本经典的著作推荐大家看,有一段可以很好地理解小概率原理。
注:参数假设检验是总体分布类型已知,对总体参数及其性质做出判断;非参数假设检验是总体分布类型未知,对总体类型做出判断。英国统计学家费希尔把小概率标准定为0.05,目前人们沿用这个标准把0.05或者比0.05更小的概率看成小概率。
例题:某酒厂生产啤酒,规定每瓶子容量为550ml,实际中酒量且服从的正态分布。质检员从流水线随机抽取五瓶,检测得酒量分别是548,555,523,553,558。请问这批啤酒生产是否符合标准?
分析:判断啤酒是否符合标准其实就是看是否成立,假设,啤酒合格,在统计推断中,通常用样本推断总体,所以在这里用样本平均值反应总体均值。接下来分析的偏差大小。由抽样数据可知,5瓶的酒量都没有严格等于550,因为在实际生产中会有随机误差。所以我们只需要保证他们和550偏离程度不大就可以,如果偏离较小那么我们可以将这种差异视为随机误差,可以认为啤酒生产符合标准。如果偏离大,那么这种差异可能就是生产中机器等产生的,叫做系统误差,认为这批啤酒不符合生产规格。那么大、小量的界限如何给出,依据小概率原理了。
构造小概率事件,,是已知的,根据分位数,和分布情况就可以确定我们要确定的界限C了,由于样本均值是总体均值的无偏估计量,也是正态分布,标准化:
,令,,所以如果(检验的拒绝域),则啤酒生产不合格,Z叫检验统计量,叫临界值。
2.假设检验基本步骤
(1)根据问题,提出原假设和备择假设
注意:原假设和备择假设互斥,共同构成了整个样本空间;不拒绝原假设意味着小概率事件没有发生但不代表不发生,因此我们更严格地解释为在显著性水平下没有充分的理由反对原假设;左单侧检验还是右单侧检验是相对备择假设来命名的;一般把最希望证明的命题放在备择假设上,把原有的传统的观点或者结论放在原假设,更好体现假设检验的价值。摘自《统计学》案例
(2)在原假设成立的条件下,构造检验统计量
注意:除了检验的参数外不含有其他未知参数且分布类型已知;需要根据样本量多少和总体标准差是否已知确定检验统计量。
(3)根据给定的显著性水平写出拒绝域
拒绝,不拒绝
(4)用已知的样本数据带入检验统计量公式中得到检验值,查分位数表
(5)检验值与临界值比较,作出判断(在统计软件中通常用P值和显著水平比较判断)
例题:
3.两类错误、P值
3.1两类错误
项目 | 没有拒绝原假设 | 拒绝原假设 |
为真 | 1-(正确决策) | (弃真错误) |
为伪 | (取伪错误) | 1-(正确决策) |
检验功效:1-,为真接受的概率,可以判别假设检验的优劣
一般首先控制犯错误的概率,因为统一原则,原假设常常是明确的,备择假设是模糊的更愿意接受前者,所以犯错误带来的后果严重。
和彼此消长的关系如下图所示:
3.2利用P值进行决策
根据不同的样本结果进行决策,面临的风险事实上是有差别的,为了精确地反映决策的风险度,利用P值进行决策。比如生产啤酒的例子中,随机抽取5个样本,样本均值为547.4ml,与标准550ml差2.6ml,2.6ml的差距大还是小?换句话说,如果原假设成立,均值大于547.4ml的概率有多大?我们把这个叫做p值,也就是说,P值是当原假设为真时,所得到的样本观测结果或者更极端的结果出现的概率。如果p值很小,那么这种情况发生的概率很小,如果出现了,根据小概率原理,有理由拒绝原假设。
决定P值因素:样本数据与原假设的差异,样本量,被假设参数的总体分布
4.参数的假设检验
4.1 单个总体假设检验
从均值、方差、比例三个方面进行分析,如下图:
4.2两个总体假设检验
有些情况下我们需要比较两个总体的参数看看他们是否有显著区别,两个总体均值差,两个总体方差比、两个总体比例差的检验。比如同龄人中,高学历和低学历职工收入是否有明显的差异。
5.检验中的匹配样本
前面我们对两总体参数假设检验中,假设样本是独立的。如果我们研究一减肥课程的减肥效果如何,这时我们需要针对某一个人记录他在上课前后的效果差,对差值样本进行分析,这就是我们要说的匹配样本。下图是我们截取《统计学》(第六版)中的例题:
匹配样本的分析方法沿用我们在前面总结的单个总体假设检验。