(1)假设检验依据的原理是小概率事件在抽样中不易发生的原理。一般将不易发生的时间作为。备择假设为。一般都会设置一个小概率a,作为小概率发生的一个上限。
即当统计出的P值(小概率时间发生的实际概率)<a,接受原假设。
当统计出的P值(小概率时间发生的实际概率)>a,拒绝原假设。
a的一般取值为0.01,0.05等。
(2)两种错误类型。假设检验也会出现错误。
第一类错误:当接受时,但拒绝了。弃真
第二类错误:当拒绝时,但接受了。存伪。
弃真概率 = (拒绝|为真) <=a . 存伪概率=(接受|为假) ->根据具体问题分析
不可能使弃真概率和存伪概率都尽可能小,但是也存在一些方法:(1)保护:将不轻易否定的假设作为(2)最优检验:控制1类风险小于a下,且使二类风险尽可能小。此时a就是检验的显著水平(水平)。在一个假设检验问题中, 拒绝原假设H0的最小显著性水平称为检验的p值。
功效函数的定义:
如何减少错误是:(1)样本尽可能大(2)减少实验误差
此处知识点来自:https://www.bilibili.com/video/BV1jJ41127Di?p=62&t=774
(3)假设检验分为参数检验和非参数检验。
参数检验指的是在总体分布已知的前提下,对总体的均值和方差进行推断。
非参数检验是指在总体分布未知下, 对总体的分布进行推断。以及独立性检验
参数检验:T检验,卡方检验、F检验、U检验(Z检验)注意u检验和U检验不是一种。
T检验主要应用于样本含量较小(例如n < 30),总体标准差σ未知的正态分布。
(1)单个正态总体均值的检验(单总体检验):检验样本平均数与已知的总体平均数是否差别显著。
样本均数:一般是抽样得到的统计量。已知的总体均值:题目给出。
(2)两个正态总体均值的检验(双总体检验):方差未知但相等(方差齐性)且相互独立。检验两个总体样本均值之间的差异程度。
独立样本t检验(样本相互独立):检验两个总体样本均值之间差异程度。
配对样本t检验:配对样本t检验可视为单样本t检验的扩展,其实质就是对差值进行单样本t检验
卡方检验:服从正态分布的单个总体[u未知|已知都可],检验样本方差与已知的总体方差是否差别显著。
F检验:(1)两个正态总体分布(均值和方差均未知,相互独立),检验两样本方差是否差异显著。
U检验:(1)单个正态总体样本,方差已知的前提下,检验样本平均数与已知的总体平均数是否差别显著
(2)两个正态分布总体,方差已知,检验两样本是否均值相等。
非参数检验:
单样本分布检验:
拟合优度检验:检验一批分类数据所来自的总体的分布是否与某种理论分布一致。基于样本频率和总体概率之间的差异,依赖于区间的划分(缺点)。
拟合优度是回归直线对观测值的拟合程度,度量拟合优度的统计量是可决系数(亦称确定系数)R²。R²最大值为1。R²的值越接近1,说明回归直线对观测值的拟合程度越好。
(1)多项分布的检验法
卡方-皮尔逊统计量:
蕴含概率分布的东西。
所以当总体服从某种概率分布时(),且样本容量充分大时,可以认为卡方统计量服从分布。
(2)总体X不具有多项式分布,但其分布函数F(x)具有明确的表达式。服从分布。
(3)确定了总体分布,但是分布中含有未知参数。服从分布。r为未知参数个数。
二项分布检验:推断总体分布是否服从某个指定的二项分布。~(n,p)是多项式分布检验的一个特例。
(1)当样本容量较小时,构造二项分布的概率。:服从二项分布,p=0.05
计算,是否显著。例子可参考:https://blog.csdn.net/linkequa/article/details/83714464
(2)当样本容量较大时,二项分布服从正态分布,构造z统计量(U检验的方法)来检验总体分布。
参考链接:https://www.cnblogs.com/downmoon/archive/2012/03/26/2417668.html
科尔莫戈罗夫-斯米尔诺夫检验(Kolmogorov–Smirnov,K-S检验)利用样本数据推断样本来自的总体是否服从某一理论分布,是一种拟合优度的检验方法,适用于探索连续型随机变量的分布。基于经验分布函数和理论分布函数或二经验分布函数之差
单样本K-S检验(单边K-S检验):用来推断一个观测的总体分布是否服从一理论分布。科尔莫戈罗夫检验
构造的统计量是经验分布与假设分布的绝对值的最大值。:总体的分布函数为
当n较大时,
两独立样本K-S检验:用来推断两个独立样本,他们的总体分布是否相同的检验。斯米尔诺夫检验
优势:(1)非参数检验,具有稳健性 (2)不依赖于均值的位置(3)适用范围广(4)比卡方有效
劣势:(1)对于尺度化不敏感(2) 若样本为正态分布,没有t检验敏感(有效)。
参考链接:https://www.cnblogs.com/jiangkejie/p/11572205.html
变量值随机性检验:通过对样本变量值的分析,实现对总体的变量值出现是否随机进行检验。(硬币正反面的出现是否随机)。基于顺序统计。
变量随机性检验的重要依据是游程(连贯检验)。所谓游程是样本序列中连续出现相同的变量值的次数。可以直接理解,如果硬币的正反面出现是随机的,那么在数据序列中,许多个1或许多个0连续出现的可能性将不太大,同时,1和0频繁交叉出现的可能性也会较小。因此,游程数太大或太小都将表明变量值存在不随机的现象。利用游程构造Z统计量,并依据正态分布表给出对应的相伴概率值。如果序列为真随机序列,那么游程的总数应该不太多也不太少。如果游程的总数极少,就说明样本缺乏独立性,内部存在一定的趋势或者结构,这可能由于观察值间不独立,或者来自不同的总体。如果样本间存在大量游程,则可能有系统的短周期波动影响观察结果。同样认为序列非随机。
例:为检验某耐压设备在某段时间内工作是否持续正常,测试并记录下该时间段内各个时间点上的设备耐压的数据。现采用游程检验方法对这批数据进行分析。如果耐压数据的变动是随机的,可认为该设备工作一直正常,否则认为该设备有不能正常工作的现象。
参考链接:https://www.med66.com/new/201401/zy201401139732.shtml
https://www.cnblogs.com/downmoon/archive/2012/03/26/2417882.html
https://blog.csdn.net/zxy_clover/article/details/79966822
两独立样本分布检验(两个样本分布是否相同):对两组独立样本的分析来推断两个总体的分布是否存在显著差异的方法。
曼-惠特尼U检验(Mann-Whitney-Wilcoxon Test)(曼-惠特尼秩和检验):假设两个样本分别来自除了总体均值以外完全相同的两个总体,目的是检验这两个总体的均值是否有显著的差别。不要求样本来自具有连续型分布的总体的秩检验方法。不要求配对样本。
步骤:来自两个样本的个样本,按照从小到大排序,分别计算两个样本的秩(等级)的和。利用公式
求解,其中统计量,查表,U < Uα时,拒绝H0。
当样本量较大时,利用U的分布趋于正态分布来解决。
参考:https://wiki.mbalib.com/wiki/%E6%9B%BC-%E6%83%A0%E7%89%B9%E5%B0%BCU%E6%A3%80%E9%AA%8C
W-W游程检验(Wald-Wolfowitz 检验):检验总体分布是否相同。基于顺序统计。
过程:将从两个总体中独立抽取的两个样本的观察值混合后,观察游程个数,进行比较。
:
假设X和Y分别服从。从X中抽取m个样本,从Y中抽取n个样本,将m+n个样本按照从大到小排序,统计游程。当原假设成立时,U=游程总数目(统计量)应该较大。若X或者Y的游程过长,即出现了来自同一样本的相互连接,那么总体游程数目应该特别小,不支持原假设。W-W一般是双侧检验。U>20时,近似服从正态分布。
参考:https://www.docin.com/p-157151434.html
极端反应检验【待看】
多独立样本的非参数检验:
Kruskal-Wallis检验、Jonckheere-Terpstra检验、中位数检验等
两配对样本的非参数检验:
McNemar检验【待看】
符号检验:用来检验两样本的均值的一致性。要求配对样本。
步骤:统计两个样本的符号差,然后统计的个数,利用,,查表。r>表值,拒绝原假设。
Wilcoxon检验(威尔科克森符号秩和检验):检验两样本均值的一致性。在符号检验基础上发展起来的。
要求配对样本。(即从AB两个样本中拿出的数据,应该存在对应关系)
步骤:(1)计算两个样本的差,将差的绝对值,按照从小到大的顺序排序,计算等级。(若两个大小,则计算他们的均值,此外 0,0,1,2这样的序列,index=1,2,3,4,将差为负数的等级添加负号)
(2)统计 (差是正数/负数的顺序和[秩和])
(3),查表。T<Tα,则拒绝原假设。
参考:https://wiki.mbalib.com/wiki/%E7%AC%A6%E5%8F%B7%E6%A3%80%E9%AA%8C%E6%B3%95
多配对样本的非参数检验:
Fridman检验、Cochran Q检验、Kendall协同系数检验等。
涉及到的主要检验方法就是这些,主要是按照参数检验和非参数检验的方法写的。里面很多都是来自非参数检验链接。只整理了,笔试涉及到的,剩下的有空再补充。
此外,还有方差分析等其他方法,另外再开一章来学习。