[课程笔记]非参数统计Chapter 2单一样本的推断问题

课程笔记：非参数统计
参考教材：《非参数统计（第二版）》，王星,褚挺进,清华大学出版社
《应用非参数统计》薛留根，科学出版社

Chapter2 单一样本的推断问题

符号检验

符号检验

符号检验：通过符号“+”和“–”的个数来进行统计推断。 数值只和两类观测值有关。

假设总体 $\mathcal{F}(M),M_{\mathrm{e}}$ 是总体的中位数, 对于假设检验问题:
$$H_0:M_{\mathrm{e}}=M_0\leftrightarrow H_1:M_{\mathrm{e}}\ne M_0$$
其中 $,M_0$ 是待检验的中位数值. 假设 $X_1,X_2,\cdots ,X_n$ 是从总体 $\mathcal{F}(M)$ 中产生的简单随机样木, 定义: Y i = I { X i > M 0 } , Z i = I { X i < M 0 } , Y_{i}=I\left\{X_{i}>M_{0}\right\}, Z_{i}=I\left\{X_{i}<M_{0}\right\}, Yi​=I{Xi​>M0​},Zi​=I{Xi​<M0​},
$$S^{+}=\sum _{i=1}^n{Y}_i,S^{-}=\sum _{i=1}^n{Z}_i$$
$S^{+}+S^{-}=n^{\prime },n^{\prime }⩽n,$ 令 K = min ⁡ { S + , S − } . K=\min \left\{S^{+}, S^{-}\right\} . K=min{S+,S−}. 在零假设之下,假设检验问题 (2.1) 寸
价于另一个结构问题: $Y\sim b(1,p),p=P\left(X>M_0\right),$
$$H_0:p=0.5\leftrightarrow H_1:p\ne 0.5$$
此时, $K<k$ 可以按照抽样分布 $b\left(n^{\prime },0.5\right)$ 求解得到，在显著性水平为 $\alpha$ 下的检验 的拒绝域为
$$2\times P_{\text{binom }}\left(K⩽k\mid n^{\prime },p=0.5\right)⩽\alpha$$

• 大样本计算

当样本量较大时，可以使用二项分布的正态近似进行检验，也就是说,当 $S^{+}\sim$ $b\left(n^{\prime },\frac{1}{2}\right)$ 时, $S^{+}\dot{\sim }N\left(\frac{n^{\prime }}{2},\frac{n^{\prime }}{4}\right),$ 定义
$$Z=\frac{S^{+}-\frac{n^{\prime }}{2}}{\sqrt{\frac{n^{\prime }}{4}}}\stackrel{\mathcal{L}}{\to }N(0,1),n\to +\infty$$
当 $n^{\prime }$ 不台大时，可以用 $Z$ 的正态性修正，如下式:
$$Z=\frac{S^{+}-\frac{n^{\prime }}{2}+C}{\sqrt{\frac{n^{\prime }}{4}}}\stackrel{c}{\to }N(0,1)$$
一股, 当 $S^{+}<\frac{n^{\prime }}{2}$ 时, $C=-\frac{1}{2};$ 当 $S^{+}>\frac{n^{\prime }}{2}$ 时, $C=\frac{1}{2}$。（当$S^{+}$值较小时，服从的分布的均值增大1/2，当$S^{+}$的值较大时，服从的分布的均值减小一些）

相应的 $p$ 值为 $2P_{N(0,1)}(Z<z$). 同理，可以得到单侧检验的结论如下。

左侧检验: $H_0:M_{\mathrm{e}}⩽M_0\leftrightarrow H_1:M_{\mathrm{e}}>M_0,p$ 值为 $P_{N(0,1)}(Z<z);$
右侧检验: $H_0:M_{\mathrm{e}}⩾M_0\leftrightarrow H_1:M_{\mathrm{e}}<M_0,p$ 值为 $P_{N(0,1)}(Z>z).$

分位数检验

假设总体 $\mathcal{F}\left(M_p\right),M_p$ 是总体的 $p$ 分位数, 对于假设检验问题:
$$H_0:M_p=M_{p_0}\leftrightarrow H_1:M_p\ne M_{p_0}$$
$M_{p_0}$ 是待检验的 $p_0$ 分位数.上述检验问题等价于
$$H_0:p=p_0\leftrightarrow H_1:p\ne p_0$$
类似于中位数检验，定义: Y i = I { X i > M p 0 } , Z i = I { X i < M p 0 } , Y_{i}=I\left\{X_{i}>M_{p_{0}}\right\}, Z_{i}=I\left\{X_{i}<M_{p_{0}}\right\}, Yi​=I{Xi​>Mp0​​},Zi​=I{Xi​<Mp0​​}, 我们注意到
在零假设之下, $Z_i\sim B\left(1,p_0\right),$
$$S^{+}=\sum _{i=1}^n{Y}_i,S^{-}=\sum _{i=1}^n{Z}_i$$
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-V6JD84g5-1615373438409)(D:\大学\BCD专业课\a非参数统计\非参数统计310.png)]

Cox-Staut 趋势存在性检验

​ $H_0:$ 数据序列无趋势 $\leftrightarrow H_1:$ 数据序列有增长或下降趋势
假设数据序列 $x_1,x_2,\cdots ,x_n$ 独立, 在零假设之下, 同分布为 $F(x),$ 令
$$c=\{\begin{array}{ll}n/2,& \text{ 如果 }n\text{ 是偶数, }\\ (n+1)/2,& \text{ 如果 }n\text{ 是奇数. }\end{array}$$
取 $x_i$ 和 $x_{i+c}$ 组成数对 $\left(x_i,x_{i+c}\right)$。

当 $n$ 为偶数时, 共有 $c$ 对, 当 $n$ 为奇数时, 共有 $c-1$ 对。

• 计算每一数对前后两值之差: $D_i=x_i-x_{i+c}$. 用 $D_i$ 的符号度量 增减。

• 令 $S^{+}$ 为正 $D_i$ 的数目, 令 $S^{-}$ 为负 $D_i$ 的数目, $S^{+}+S^{-}=n^{\prime },n^{\prime }⩽n.$。

• 令 K = min ⁡ { S + , S − } , K=\min \left\{S^{+}, S^{-}\right\}, K=min{S+,S−}, 显然当正号太多或负号太多, 即 $K$ 过小的时候, 有趋势存在。

• 在没有趋势的零假设下, $K$ 服从二项分布 $b\left(n^{\prime },0.5\right),$ 该检验在某种意义上是符号检验的应用的拓展。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PyHrACED-1615373438412)(D:\大学\BCD专业课\a非参数统计\非参数统计310_2.png)]

随机游程检验

其中一个典型的序列是二元 $0/1$ 序列出现顺序的随机性问题。 在一个二元序列中, 0 和 1 交替出现。

首先引入以下概念:

• 在一个二元序列中, 一个由 0 或 1 连续构成的串称为一个游程,

• 一个游程中数据的个数称为游程的长度.

• 一个序列中 游程个数 用 $R$ 表示, $R$ 表示 0 和 1 交替轮换的频累程度.

容易看出, $R$ 是序列中 0 和 1 交替轮换的总次数加 1 。

Mood(1940) 提出关于这一问题的检验 $:X_1,X_2,\cdots ,X_n$ 是 一列由 0 或 1 构成的序列，假设检验问题：
$H_0:$ 数据出现顺序随机 $\leftrightarrow H_1:$ 数据出现顺序不随机,
$R$ 为游程个数, $1⩽R⩽n.$ 在零假设成立的情况下, $X_i\sim b(1,p),p$ 是 1 出现的概 率, 由 $n_1/n$ 确定 $,R$ 的分布与 $p$ 有关. 假设有 $n_0$ 个 0 和 $n_1$ 个 $1,n_1+n_0=n,$ 出
现任何一种不同结构序列的可能性是1 $/\left(\begin{array}{c}n\\ n_1\end{array}\right)=1/\left(\begin{array}{c}n\\ n_0\end{array}\right),$ 注意到 0 游程和 1 游程之间是者差 $1,$ 于是得到 $R$ 的条件分布为
$$
P(R=2 k)=\frac{2\left(\begin{array}{c}
n_{1}-1 \
k-1
\end{array}\right)\left(\begin{array}{c}
n_{0}-1 \
k-1
\end{array}\right)}{\left(\begin{array}{c}
n \
n_{1}
\end{array}\right)}
\

P(R=2 k+1)=\frac{\left(\begin{array}{c}
n_{1}-1 \
k-1
\end{array}\right)\left(\begin{array}{c}
n_{0}-1 \
k
\end{array}\right)+\left(\begin{array}{c}
n_{1}-1 \
k
\end{array}\right)\left(\begin{array}{c}
n_{0}-1 \
k-1
\end{array}\right)}{\left(\begin{array}{c}
n \
n_{1}
\end{array}\right)} .
$$

当数据序列的量很大时，即 $n\to \infty$ 时，零假设下，根据精确分布的性质可以
得到：
$$\begin{array}{c}E(R)=\frac{2n_1{n}_0}{n_1+n_0}+1\\ \mathrm{var}(R)=\frac{2n_1{n}_0\left(2n_1{n}_0-n_0-n_1\right)}{{\left(n_1+n_0\right)}^2\left(n_1+n_0-1\right)}=\frac{(E(R)-1)(E(R)-2)}{n_1+n_0-1}\end{array}$$
当 $\frac{n_1}{n_0}\to \gamma$ 时，则
$$E(R)=\frac{2n_1}{(1+\gamma )}+1,\mathrm{var}(R)\approx 4\gamma n_1/(1+\gamma {)}^3$$
于是
$$Z=\frac{R-E(R)}{\sqrt{\mathrm{var}(R)}}=\frac{R-2n_1/(1+\gamma )}{\sqrt{4\gamma n_1/(1+\gamma {)}^3}}\stackrel{\mathcal{L}}{\to }N(0,1)$$
因此可以用正态分布表得到 $p$ 值和检验结果. 这时，在给定水平 $\alpha$ 后，可以用 近似公式得到拒绝域的临界值:
$$r_1=\frac{2n_1{n}_0}{n_1+n_0}\left[1+\frac{Z_{\frac{\alpha }{2}}}{\sqrt{n_1+n_0}}\right],r_{\mathrm{u}}=\frac{2n_1{n}_0}{n_1+n_0}\left[1-\frac{Z_{\frac{\alpha }{2}}}{\sqrt{n_1+n_0}}\right]$$

Wilcoxon检验

要求：分布为对称分布

定理 2.1 $X$ 服从分布函数为 $F(\theta )$ 的分布, 且 $F(\theta )$ 关于 $\theta$ 对称, 总体的对 称中心是总体的中位数之一。

• $R_j^{+}$ ： $\left|X_j\right|$ 在绝对值样本中的秩, 即 $\left|X_j\right|=|X{|}_{\left(R_j^{+}\right)}$ 。
• $S(x)$ 表示示性函数 $I(x>0),$ 它在 $x>0$ 时为 $1,$ 否则为 $0 $。
• 反秩(antirank) ： 反秩 $D_j$ 是由 $\left|X_{D_j}\right|=|X{|}_{(j)}$ 定义的.
• 我们还用 $W_j$ 表示 与 $|X{|}_{(j)}$ 相应的原样本点的示性函数, 即 $W_j=S\left(X_{D_j}\right),$ 且称 $R_j^{+}S\left(X_j\right)$ 为符号秩统计量。第j小的元素如果为正，则$W_j=1$,若为负，则$W_j=0$。
• Wilcoxon 符号秩统计量 定义为

$$W^{+}=\sum _{j=1}^{n}j{W}_j=\sum _{j=1}^n{R}_j^{+}S\left(X_j\right)$$
它是正的样本点按绝对值所得秩的和。

设 $F(x-\theta )$ 对称, 零假设为 $H_0:\theta =0,$ 有下面 3 个定理.

定理 $2.2$ 如果零假设 $H_0:\theta =0$ 成立 $,$ 则 $S\left(X_1\right),S\left(X_2\right),\cdots ,S\left(X_n\right)$ 独立于 $\left(R_1^{+},R_2^{+},\cdots ,R_n^{+}\right)$

证明: \quad 事实上, 因为 $\left(R_1^{+},R_2^{+},\cdots ,R_n^{+}\right)$ 是 $\left|X_1\right|,\left|X_2\right|,\cdots ,\left|X_n\right|$ 的函数, 而出自随机样本的 $\left(S\left(X_i\right),\left|X_j\right|\right),i,j=1,2,\cdots ,n,j\ne i$ 是互相独立的数据对, 因此我们只要试明 $S\left(X_i\right)$ 和 $\left|X_i\right|$ 是互相独立的即可。事实上,
$$\begin{array}{rl}P\left(S\left(X_i\right)=1,\left|X_i\right|⩽x\right)& =P\left(0<X_i⩽x\right)=F(x)-F(0)=F(x)-\frac{1}{2}\\ & =\frac{2F(x)-1}{2}=P\left(S\left(X_i\right)=1\right)P\left(\left|X_i\right|⩽x\right)\end{array}$$

定理 $2.3$ 如果零假设 $H_0:\theta =0$ 成立 $,$ 则 $S\left(X_1\right),S\left(X_2\right),\cdots ,S\left(X_n\right)$ 独立于 $\left(D_1,D_2,\cdots ,D_n\right)$

定理 $2.4$ 如果零假设 $H_0:\theta =0$ 成立, 则 $W_1,W_2,\cdots ,W_n$ 是独立同分布的, 其分布为$P\left(W_i=0\right)=P\left(W_i=1\right)=\frac{1}{2}.$
证明 : \quad 令 $\mathbf{D}=\left(D_1,D_2,\cdots ,D_n\right),\mathbf{d}=\left(d_1,d_2,\cdots ,d_n\right),$
$$\begin{array}{rl}& P\left(W_1=w_1,W_2=w_2,\cdots ,W_n=w_n\right)\\ =& \sum _{d}P\left(S\left(X_{D_1}\right)=w_1,S\left(X_{D_2}\right)=w_2,\cdots ,S\left(X_{D_n}\right)=w_n\mid \mathbf{D}=\mathbf{d}\right)P(\mathbf{D}=\mathbf{d})\\ =& \sum _{d}P\left(S\left(X_{d_1}\right)=w_1,S\left(X_{d_2}\right)=w_2,\cdots ,S\left(X_{d_n}\right)=w_n\right)P(\mathbf{D}=\mathbf{d})\\ =& {\left(\frac{1}{2}\right)}^n\sum _{d}P(\mathbf{D}=\mathbf{d})={\left(\frac{1}{2}\right)}^n\end{array}$$
因此有 $P\left(W_1,W_2,\cdots ,W_n\right)={\prod }_{i=1}^{n}P\left(W_i=w_i\right)$ 及 $P\left(W_i=w_i\right)=\frac{1}{2}.$

符号秩的检验过程

假设样本点 $X_1,X_2,\cdots ,X_n$ 来自连续对称总体分布 (符号检验不需要这个假设). 在这个假定下总体中位数等于均值.

它的检验目的和符号检验是一样的, 即要 检验双边问题 $H_0:M=M_0$ 或检验单边问题 $H_0:M⩽M_0$ 及 $H_0:M⩾M_0,$
Wilcoxon 符号秩检验均步骤如下：
(1) 对 $i=1,2,\cdots ,n,$ 计算 $\left|X_i-M_0\right|;$ 它们表示这些样本点到 $M_0$ 的距离.
(2) 将上面 $n$ 个绝对值排字，并找出它们蛇 $n$ 个秩; 如果有相同的样本点，每 个点取平均秩.
的 $\left|X_i-M_0\right|$ 的秩物和. 注意: $W^{+}+W^{-}=n(n+1)/2$.
(4) 对双边检验 $H_0:M=M_0\leftrightarrow H_1:M\ne M_0,$ 在零假设下, $W^{+}$ 和 $W^{-}$ 应差不多. 因而，当其中之一很小时，应怀疑零假设;因此，取检验统计量 $W=$ min ⁡ { W + , W − } . \min \left\{W^{+}, W^{-}\right\} . min{W+,W−}. 类似地, 对 $H_0:M⩽M_0\leftrightarrow H_1:M>M_0$ 的单边检验取 $W=W^{-};$
对 $H_0:M⩾M_0\leftrightarrow H_1:M<M_0$ 的单边检验取 $W=W^{+}.$
(5) 根据得到的 $W$ 值, 查 Wilcoxon 符号秩检验的分布表以得到在零假设下的 $p$ 值. 如果 $n$ 很大要用正态近似，得到一个与 $W$ 有关的正态随机变量 $Z$ 的值, 再 查表得到 $p$ 值，或直接在软件中计算得到 $p$ 值。
(6) 如果 $p$ 值小 (比如小于或寺于给定的显著性水平 0.05 ), 则可以拒绝零假设. 实际上显著性水平 $\alpha$ 可取任何大于或等于 $p$ 值的数. 如果 $p$ 值较大，则没有充分 证据来拒绝零假设，但不意味着接受零假设.

• $W^{+}$的精确分布

以下给出计算 $W^{+}$ 概率的一般方法。首先, $\forall j$ 有
$$E\left(\exp \left(t_j{W}_j\right)\right)=\frac{1}{2}\exp (0)+\frac{1}{2}\exp \left(t_j\right)=\frac{1}{2}\left(1+\exp \left(t_j\right)\right)$$
计算样本量为 $n$ 时, $W^{+}$ 的母函数如下:
$$\begin{array}{rl}{M}_n(t)& =E\left(\exp \left(t{W}^{+}\right)\right)=E\left(\exp \left(t\sum j{W}_j\right)\right)\\ & =\prod _{j}E\left(\exp \left(tj{W}_j\right)\right)=\frac{1}{2^n}\prod _{j=1}^n\left(1+{\mathrm{e}}^{tj}\right)\end{array}$$
母函数有展开式
$$M(t)=a_0+a_1{\mathrm{e}}^t+a_2{\mathrm{e}}^{2t}+\cdots$$
则 $P_{H_{0}}\left(W^{+}=j\right)=a_{j} $。

• $W^{+}$的大样本分布

可利用正态近似。
$$\begin{array}{l}E\left(W^{+}\right)=E\left(\sum j{W}_j\right)=\frac{1}{2}{\sum }_{j=1}^{n}j=\frac{1}{2}\frac{n(n+1)}{2}=\frac{1}{4}n(n+1)\\ \mathrm{var}\left(W^{+}\right)=\mathrm{var}\left(\sum j{W}_j\right)=\frac{1}{4}{\sum }_j^n{j}^2=\frac{1}{24}n(n+1)(2n+1)\end{array}$$

在零假设下由此可构造大样本渐近正态统计量, 零假设下的近似计算如下:
$$Z=\frac{W^{+}-n(n+1)/4}{\sqrt{n(n+1)(2n+1)/24}}\stackrel{\mathcal{L}}{\to }N(0,1)$$
计算出 $Z$ 值后，可由正态分布表查出检验统计量对应的 $p$ 值, 如果 $p$ 值过小, 则拒 她零假设 $H_0:\theta =M_0$. 小样本情况下使用连续性修正, 如下所示:
$$Z=\frac{W^{+}-n(n+1)/4+C}{\sqrt{n(n+1)(2n+1)/24}}\stackrel{\mathcal{L}}{\to }N(0,1)$$
当 $W^{+}>n(n+1)/4$ 时, 用正连续性修正, $C=0.5$; 当 $W^{+}<n(n+1)/4$ 时, 用 负连续性修正, $C=-0.5.$