卡方T检验的计算公式_统计起源 第十讲 意外开荒——非参数检验与数据类型

前情回顾     前面我们讲到，自学大师奈曼发明了一种利用置信区间估计总体参数的办法，这种方法因为置信度的引入，导致了许多人多置信度的误用。95%置信区间总给人一种总体参数有95%的概率落在这个区间中的错觉，而其实并非如此。至此，基于参数的检验已经很全面了，而大约10年后，一位化学家无意间发现了一个所有参数估计都避不开的问题——受极端值的影响！他的想法开阔了比参数估计广阔得多的统计新大陆。

---

正文     由于总体的平均数与样本的平均数等总是有一定的误差，为了做区分，总体的平均数和标准差等被称为参数，而样本的平均数和标准差等则称为统计量。无论是点估计还是区间估计，都是用样本统计量估计总体参数。其中，利用平均值这一参数的统计方法就是t检验，t检验衡量了总体均值与样本均值(或两个样本均值)的差值与样本均值的变异性(估计标准误)的比，从而给出样本是否来自该总体(或两个总体均值是否相等)的判断。另外，利用方差这一参数的统计方法就是F检验，也就是方差分析，通过比较处理间的方差和处理内的方差的比值，判断实验的处理是否产生了足够的变异，得出实验处理是有效果的结论。       20世纪40年代，一位名叫弗兰克·威尔科克森(Frank Wilcoxon)的化学家在进行化学实验的过程中发现，很多时候他的实验会因为某个数据过大或者某个数据过小而导致结果不显著。威尔科克森翻阅“学生”戈赛特的t检验和黑暗天才费歇尔的方差分析，发现在这两种方法中，极端大或者极端小的值都会非常明显的影响显著性。                            

参数估计很容易受到极端值的影响，例如在t检验中通过影响样本均值M而影响显著性     跟大家一样，威尔科克森第一反应也是剔除异常值，可是在化学反应中，究竟多异常的值才算是异常值呢？剔除了异常值之后，样本均值分布是不是就变了呢？假设检验是不是就不合理了呢？因为按照假设检验的逻辑，我们首先要设定假设及判断标准，然后才能进行实验收集数据，在统计之后进行数据的删减有多大程度影响了假设检验？

发现极端值以后要不要删，删多少，都很难判断。更重要的是不知道是否会对假设检验本身造成影响

    威尔科克森继续翻阅文献，但是却没有找到解决问题的文章，实际上，威尔科克森倒是想到了一个办法，但是令他疑惑的是，这么简单的办法为什么他没找到统计学家的文献记载呢？跟现在的很多研究生一样，威尔科克森开始怀疑是不是自己的检索能力出了问题。于是他想了一个很奇妙的办法，他把自己的方法写成了稿子寄给了一个统计期刊，这样杂志社的主编就会以文献检索不全面为由拒绝他的稿子，顺便告诉他在哪篇文章里有他想到的这种做法。结果，这篇文章在1945年被发表了，并开阔了整个非参数检验的大陆。这就是威尔科克森检验(Wilcoxontest)，也被称为符号秩检验。   假如我们收集了两组样本，如果这两组样本之间没什么关系，那么就是独立样本，反之，如果两组样本是匹配的则被称为配对样本或相关样本(例如同一批被试进行用药前后两次测量获得的两组样本)，符号秩检验应用于配对样本中。进行符号秩检验分为几步：首先用第二组样本的各个数据分别减去对应的第一组样本的数据，记录差值的正负号，随后将差值按照绝对值的大小进行升序排序，然后只留下排名(也被称为秩)，最后分别计算正号的平均秩和负号的平均秩，如果两者差距不大，那么就说明两组样本差距不大。       这种利用排名(秩)进行统计的方法，使得极端值的影响被抹除了，同时也不需要像t检验一样假设数据服从正态分布或方差齐性等条件。实际上，我们生活中的数字本身就有不同的类型：第一种是用来命名的数字，例如五号选手跟四号选手只是名字上的差异，并没有大小关系，也不能用来做加减乘除的计算，这种变量被称为命名变量；进一步的，像排名这样的数字，他们只能比较大小，但不能进行加减乘除计算，例如第二名加第三名是没有意义的，因此被称为顺序变量；如果数字之间可以进行加减运算，那么就是等距变量；如果在等距变量的基础上还有绝对零点，那么就可以进行乘除运算，这种被称为等比变量。在四种变量类型中，只有等距和等比变量才能使用参数检验，其他的数据都只能使用这种不依赖于参数的非参数检验。

 四种数据类型，命名变量、顺序变量、等距变量、等比变量。其中温度中的0摄氏度不代表没有温度，所以是等距变量，而身高体重中的0就是没有，因此是等比变量     两年以后，一位亨利·B·曼(HenryB. Mann)的经济学家和一个名叫D·兰塞姆·惠特尼(D. Ransom Whitney)的统计学研究生发表了他们的曼－惠特尼检验(Mann-Whitney test)，用于检验工资方面的分布的提高，如我们在第三讲中所讨论的，工资方面的问题不适合用平均值这样的参数来估计。

概率论与统计是两门不同的学问，但现在偶尔也放在一起讲     虽然现在我们常常把概率和统计放在一起来讲，但是在20世纪早期，概率跟统计还形同陌路，对大部分统计学家来说，概率论里的那一套就是所谓的“算术脑筋急转弯”。你一定做过那种排列组合的概率试题，读到现在，你应该发现它们与统计学是有多大的不同。但是有这样一个人，概率的公理化的创造者，安德烈·柯尔莫哥洛夫(A.N. Kolmogorov)，他和他的一个学生N·V·斯米尔诺夫(N. V. Smirnov)也发明了一种非参数检验方法，被称为K-S检验。如今你可以用一些统计软件轻易的进行各种非参数检验，这些非参数检验已经可以解决生活中遇到的大部分的问题了。  

统计方法的选择。其中符号检验与本讲的符号秩检验是不同的方法

      实际上，早在三十多年前的1914年，我们的卡尔.皮尔逊就已经发明了卡方检验，而在很久之后大家才意识到，啊！这就是非参数检验啊！

欢迎进群讨论~

扫码关注小宇哥，你的学术之友~