15.第六章 非参数假设检验(1)

第六章 非参数假设检验(1)

1.非参数假设检验概述

对于给定分布族的情况，假设检验主要对其中的未知参数进行假设并检验；对于样本分布族未给出其数学形式的情况，只给出其对称性、连续性等假设，这种统计问题是非参数的，要运用与数学形式无关的统计推断方法，即非参数方法。

非参数方法的特点有，适用面广而针对性差，比较依赖于大样本理论，只能使用样本中的“一般”信息（如位置、次序关系），具有稳健性（即真实的模型与设定的理论模型有一定偏离时也能保持较好的性质）。

2.符号检验法

符号检验法适用于相互独立的两样本的成对数据。现有取自两个独立总体的样本$\mathbf{X}=(X_1,\cdots ,X_N),\mathbf{Y}=(Y_1,\cdots ,Y_N)$，要比较两个总体的均值大小，则取
$$Z_i=X_i-Y_i,S_i=\{\begin{array}{lc}+,& Z_i>0,\\ -,& Z_i<0,\\ 0,& Z_i=0.\end{array}$$
如假设$N$个$S_i$中，$+$的个数为$n_{+}$，$-$的个数为$n-$，记$n=n_{+}+n_{-}$，这就相当于剔除0结果。如果原假设为$H_0:两个样本均值相等$，则每一个非0结果出现$+,-$的概率应该是$\theta =1/2$。记$X=n_{+}$，则在$H_0$成立的前提下，有$X\sim b(n,\theta )$，这就转化为参数检验$H_0^{\prime }:\theta =1/2$。同理，如果$H_0$是$X$总体均值与$Y$总体均值不等，则相应也能转化为二项分布参数的单边检验。

回到$H_0^{\prime }:\theta =1/2\leftrightarrow H_1^{\prime }:\theta \ne 1/2$的检验，取$X=n_{+}$为检验统计量，则否定域的形式应该为 D = { X < c 或 X > d } D=\{X<c或X>d\} D={X<c或X>d}，且 P { X ∈ D ∣ H 0 } = α \mathbf P\{X\in D|H_0\}=\alpha P{X∈D∣H0​}=α，因此可以如下计算$c,d$：
$$\sum _{i=0}^c{C}_n^i(\frac{1}{2}{)}^n\le \alpha /2,d=n-c$$
检验的$p$值可以如下计算：记$x_0^{\prime }=\min (x_0^{\prime },n-x_0^{\prime })$，于是
$$p=\sum _{i=0}^{x_0^{\prime }}{C}_n^i(\frac{1}{2}{)}^n+\sum _{j=n-x_0^{\prime }}^n{C}_n^j(\frac{1}{2}{)}^n$$
如果$p$值越大，接受假设的把握也越大，因此可以给定检验水平$\alpha$，当$p\ge \alpha$时接受$H_0$，否则拒绝$H_0$。

如果是大样本情形，则由中心极限定理，当$H_0$成立且$n\to \infty$时有
$$U=\frac{X-E(X)}{\sqrt{D(X)}}=\frac{X-n/2}{\sqrt{n/4}}\stackrel{\mathcal{L}}{⟶}N(0,1)$$
这样就可以用$U$检验了。

符号检验法既可以用来检验成对数据是否来自的总体是否一致，又能够用于检验总体的分位数情况，只要用$X_i-{\alpha }_p$作为符号检验的对象就行了。

3.符号秩和检验

符号检验法在转化$Z_i$时丢失了$Z_i$的数据只保留符号，这种信息的丢失使得符号检验的效率有所降低。符号秩和检验法是符号检验的改进。

首先要提出样本秩的概念，设$X_1,\cdots ,X_n$是两两不相等的一组样本，将其按大小排列为$X_{(1)}<\cdots <X_{(n)}$，如果$X_i=X_{(R_i)}$，则称$X_i$在这组样本中的秩是$R_i$。简而言之，样本秩就是某一个样本在全部样本中的大小排位，最小为1，最大为$n$。而如果样本来自连续分布$F(x)$，那么$X_1,\cdots ,X_n$就是以概率1两两不等的。

秩统计量是$(X_1,\cdots ,X_n)$的秩按顺序排列成的数组$\mathbf{R}=(R_1,\cdots ,R_n)$，由于给定样本观测值就能确定其秩，所以秩统计量是样本的函数。基于秩统计量的方法就称为秩检验。

在符号检验法中加入秩检验，记$\mathbf{R}=(R_1,\cdots ,R_n)$为$|Z_i|$的秩统计量，并且记符号统计量为${\bar{V}}_i=I_{(0,\infty )}(Z_i)$，用$R_i$和${\bar{V}}_i$就记录了$Z_i$的符号与数值排位，定义Wilcoxon符号秩和为检验统计量，即
$$W^{+}=\sum _{i=1}^n{\bar{V}}_i{R}_i$$
也就是秩统计量中符号为正的秩之和。回到统计问题中，如果两个总体中$X$的均值大于$Y$的，则$+$的符号偏多，且它们的秩也偏大，所以$W^{+}$应该偏大；如果$-$的符号偏多，$W^{+}$就应该偏小，所以双边检验的否定域是 D = { W + ≤ d 或 W + ≥ c } D=\{W^+\le d或W^+\ge c\} D={W+≤d或W+≥c}。同理可以推断单边检验的否定域。$c$的值可以通过表格查询，$d=\frac{n(n+1)}{2}-c$。

在大样本情形下，由于$E(W^{+})=\frac{n(n+1)}{4},D(W^{+})=\frac{n(n+1)(2n+1)}{24}$，所以有
$$W_{\ast }^{+}=\frac{W^{\ast }-n(n+1)/4}{\sqrt{n(n+1)(2n+1)/24}}\stackrel{\mathcal{L}}{⟶}N(0,1)$$

4.Wilcoxon两样本秩和检验

这种方法适用于两样本检验问题，假设$X_1,\cdots ,X_m\sim F_1,Y_1,\cdots ,Y_n\sim F_2$，且两组样本相互独立，要验证的假设是$H_0:F_1=F_2\leftrightarrow H_1:F_1\ne F_2$。现讨论一种给定条件适中的情况，即假设对总体做出的改变只让概率分布发生一些平移，即$\mathbf{X}\sim F(x),\mathbf{Y}\sim F(x-\theta )$，假设检验就是$H_0:\theta =0\leftrightarrow H_1:\theta \ne 0$。虽然假设中体现了参数，但是由于整体分布未知，这依然是一个非参数假设检验的问题。

先定义Wilcoxon两样本秩，如果$X_1,\cdots ,X_m,Y_1,\cdots ,Y_n$两两不等，从小到大排列的结果为$Z_1<\cdots <Z_N,N=m+n$，将$Y_i$在合样本中的秩相加记作$W$，称$W$为Wilcoxon两样本秩和统计量。

显然，如果$\theta =0$，那么$W$不会太大也不会太小，拒绝域就应该形如 D = { W ≤ d 或 W ≥ c } D=\{W\le d或W\ge c\} D={W≤d或W≥c}，对于较小的$m,n$，$c$的值可以通过表格查询，而$d=n(m+n-1)-c$。

在大样本情形下，有
$$\begin{gathered} E(W)=\frac{n(N+1)}{2}，D(W)=\frac{mn(N+1)}{12} \\ {W}^{\ast }=\frac{W-E(W)}{\sqrt{D(W)}}=\frac{W-n(N+1)/2}{\sqrt{mn(m+n+1)/12}}\stackrel{\mathcal{L}}{⟶}N(0,1) \end{gathered}$$