[课程笔记]非参数统计Chapter 1 一些基本概念

课程笔记：非参数统计
参考教材：《非参数统计（第二版）》，王星,褚挺进,清华大学出版社
《应用非参数统计》薛留根，科学出版社

Chapter1 基本概念

次序统计量

定义 $1.1$ 假设总体 $X$ 有容量为 $n$ 的样本 $X_1,X_2,\cdots ,X_n,$ 将 $X_1,X_2,\cdots ,X_n$ 按从小到大排序后生成统计量
$$X_{(1)}⩽X_{(2)}⩽\cdots ⩽X_{(n)}$$
则称统计量 $\left\{X_{(1)},X_{(2)},\cdots ,X_{(n)}\right\}$ 为顺序统计量. 其中 $X_{(i)}$ 是第 $i$ 个顺序统计量. 顺序统计量是非参数统计的理论基础之一, 许多非参数统计量的性质与顺序统计量 有关。

• 如果总体分布函数为 $F(x),$ 则贝序统计呈 $X_{(r)}$ 的分布函数为

$$F_r(x)=P\left(X_{(r)}⩽x\right)=P\left(\text{ 至少 }r\text{ 个 }{X}_i\text{ 小于或等于 }x\right)=\sum _{i=r}^n\left(\begin{array}{l}n\\ i\end{array}\right)F^i(x)[1-F(x){]}^{n-i}.$$

• 如果总体分布密度 $f(x)$ 存在, 则顺序统计量 $X_{(r)}$ 的密度函数为:

$$f_r(x)=\frac{n!}{(r-1)!(n-r)!}{F}^{r-1}(x)f(x)[1-F(x){]}^{n-r}$$

分位数

定义 $1.2$ 假定 $X$ 服从概率密度为 $f(x)$ 的分布, 令 $0<p<1,$ 满足等式 $F\left(m_p^{-}\right)=P\left(X<m_p\right)⩽p,F\left(m_p\right)=P\left(X⩽m_p\right)⩾p$ 唯一的根 $m_p$ 称为分布 $F(x)$
的 $p$ 分位数.

例如, 中位数可以定义为 $P\left(X<m_{0.5}\right)⩽1/2,P\left(X⩽m_{0.5}\right)⩾1/2.$ 分布的 $3/4$
分位数定义为 $P\left(X<m_{0.75}\right)⩽0.75,P\left(X⩽m_{0.75}\right)⩾0.75.$

这样定义的 $p$ 分位数不唯一. 易证: 如果分布的 $p$ 分位数不唯一, 则它充满一 个有界闭区间.

为了解决唯一性问题, 统计学家又把总体的 $p$ 分位数定义为
ξ p = inf ⁡ { x : F ( x ) ⩾ p } , p ∈ ( 0 , 1 ) \xi_{p}=\inf \{x: F(x) \geqslant p\}, \quad p \in(0,1) ξp​=inf{x:F(x)⩾p},p∈(0,1)
当 $p=1/2$ 时, ${\xi }_{1/2}$ 为分布的中位数.

样本分位数

定义 $1.2.1$ 设 $X_1,\cdots ,X_n$ 是来自总体 $F(x)$ 的独立同分布样本, 其经验分布 函数记为 $F_n(x)=n^{-1}{\sum }_{i=1}^{n}I\left(X_i⩽x\right),$ 则称
ξ ^ n , p = inf ⁡ { x : F n ( x ) ⩾ p } \hat{\xi}_{n, p}=\inf \left\{x: F_{n}(x) \geqslant p\right\} ξ^​n,p​=inf{x:Fn​(x)⩾p}
为样本的 $p$ 分位数.

对于 ${\hat{\xi }}_{n,p},$ 有下面两个渐近性质.

定理 $1.2.1$ 设总体分布 $F(x)$ 的密度函数 $f(x)$ 在 ${\xi }_p$ 处连续, 且 $f\left({\xi }_p\right)>0,$ 则样本分位数 ${\hat{\xi }}_{n,p}$ 有渐近正态分布 $N\left({\xi }_p,p(1-p)/\left[n{f}^2\left({\xi }_p\right)\right]\right).$

定理 $1.2.2$ 对 $0<p<1,{\xi }_p$ 是满足 $F(x)⩾p,F(x-0)⩽p$ 的总体 $F(x)$ 的 $p$ 分位数. 如果 ${\xi }_p$ 是唯一的, 则当 $n\to \infty$ 时 $,{\hat{\xi }}_{n,p}\to {\xi }_p,\text{ a.s. }.$

分位数区间估计

1. 大样本区间估计
   在大样本情形下, 我们可以利用样本 $p$ 分位数 ${\hat{\xi }}_{n,p}$ 的渐近正态性构造置信区
   间. 给定置信水平 $\alpha >0,$ 用 $z_{1-\alpha /2}$ 表示满足 $\Phi \left(z_{1-\alpha /2}\right)=1-\alpha /2$ 的数, 它是标准 正态分布的 $1-\alpha /2$ 分位数. 由定理 1.2 .1 知
   $$\underset{n\to \infty }{\lim }P\left\{\left|{\hat{\xi }}_{n,p}-{\xi }_p\right|⩽\frac{z_{1-\alpha /2}\sqrt{p(1-p)}}{\sqrt{n}f\left({\xi }_p\right)}\right\}=1-\alpha$$
   上式尚不能直接用于区间估计, 因为其中 $f(\cdot )$ 与 ${\xi }_p$ 皆未知. ${\xi }_p$ 可用 ${\hat{\xi }}_{n,p}$ 估计, 至 于 $f(\cdot ),$ 需用概率密度的非参数估计法估计之. 以 ${\hat{f}}_n(\cdot )$ 记 $f(\cdot )$ 的一个估计, 如果 ${\hat{f}}_n(\cdot )$ 有相合性, 则利用上式有
   $$\underset{n\to \infty }{\lim }P\left\{\left|{\hat{\xi }}_{n,p}-{\xi }_p\right|⩽\frac{z_{1-\alpha /2}\sqrt{p(1-p)}}{\sqrt{n}{\hat{f}}_n\left({\hat{\xi }}_{n,p}\right)}\right\}=1-\alpha$$
   上式表明, ${\hat{\xi }}_{n,p}\pm z_{1-\alpha /2}\sqrt{p(1-p)}/\left[\sqrt{n}{\hat{f}}_n\left({\hat{\xi }}_{n,p}\right)\right]$ 是 ${\xi }_p$ 的一个区间估计, 其渐近置信
   水平为 $1-\alpha ,$ 这个估计只有在样本容量 $n$ 相当大时才有用, 因为 $n$ 太小时, 概率 密度 $f(\cdot )$ 不易估计准确.

2. 小样本区间估计
   设 $X_1,\cdots ,X_n$ 是来自连续分布 $F(x)$ 的一个样本. $X_{(1)}⩽\cdots ⩽X_{(n)}$ 为样本 次序统计量. 下面求 $p$ 分位数 ${\xi }_p$ 的形如 $\left[X_{(r)},X_{(s)}\right]$ 的置信区间, 即求最大整数 $r$ 和最小整数 $s,$ 使得
   $P\left\{X_{(r)}⩽{\xi }_p⩽X_{(s)}\right\}⩾1-\alpha$
   为此, 记 $Y={\sum }_{i=1}^{n}I\left(X_i⩽{\xi }_p\right),$ 显然 $Y$ 服从二项分布 $B(n,p),$ 其中 p = P { X i ⩽ ξ p } . p=P\left\{X_{i} \leqslant \xi_{p}\right\} . p=P{Xi​⩽ξp​}.

注意到事件 $\left\{X_{(r)}⩽{\xi }_p⩽X_{(s)}\right\}$ 等价于事件“样本 $X_1,\cdots ,X_n$ 中小于等于 ${\xi }_p$ 的个 数至少火 $r$ 且至多火 $s$ ", 即等价于事件 { r ⩽ Y ⩽ s } . \{r \leqslant Y \leqslant s\} . {r⩽Y⩽s}. 囚此,
P { X ( r ) ⩽ ξ p ⩽ X ( s ) } = P { r ⩽ Y ⩽ s } = P { Y ⩽ s } − P { Y < r } = ∑ i = 0 s ( n i ) p i ( 1 − p ) n − i − ∑ i = 0 r − 1 ( n i ) p i ( 1 − p ) n − i . \begin{aligned} & P\left\{X_{(r)} \leqslant \xi_{p} \leqslant X_{(s)}\right\} \\ =& P\{r \leqslant Y \leqslant s\}=P\{Y \leqslant s\}-P\{Y<r\} \\ =& \sum_{i=0}^{s}\left(\begin{array}{l} n \\ i \end{array}\right) p^{i}(1-p)^{n-i}-\sum_{i=0}^{r-1}\left(\begin{array}{l} n \\ i \end{array}\right) p^{i}(1-p)^{n-i} . \end{aligned} ==​P{X(r)​⩽ξp​⩽X(s)​}P{r⩽Y⩽s}=P{Y⩽s}−P{Y<r}i=0∑s​(ni​)pi(1−p)n−i−i=0∑r−1​(ni​)pi(1−p)n−i.​
在实际工作中, 我们可以选取最大的 $r$ 和最小的 $s,$ 使得
$$\begin{array}{l}{\sum }_{i=0}^{r-1}\left(\begin{array}{l}n\\ i\end{array}\right)p^i(1-p{)}^{n-i}⩽\frac{\alpha }{2}\\ {\sum }_{i=0}^s\left(\begin{array}{l}n\\ i\end{array}\right)p^i(1-p{)}^{n-i}⩾1-\frac{\alpha }{2}.\end{array}$$
因此
$$P\left\{X_{(r)}⩽{\xi }_p⩽X_{(s)}\right\}⩾1-\frac{\alpha }{2}-\frac{\alpha }{2}=1-\alpha$$

秩检验统计量

无节点

设样本 $X_1,X_2,\dots ,X_n$ 是取自总体 $X$ 的简单随机样本， $X_1,X_2,\dots ,X_n$ 中不超过 $X_i$ 的个数
$$R_i=\sum _{j=1}^{n}I\left(X_j\le X_i\right)$$
称 $R_i$ 为 $X_i$ 的秩, $X_i$ 是第 $R_i$ 个顺序统计量, $X_{\left(R_i\right)}=X_{i\circ }$ 令 $R=\left(R_1,\dots ,R_n\right),R$ 是由样本产生的统计量称为秩统计量。

定理 $1.3$ 对于简单随机样本, $R=\left(R_1,R_2,\cdots ,R_n\right)$ 寸可組取 $(1,2,\cdots ,n)$ 脉 任意 $n!$ 个排列之一, $R$ 在由 $(1,2,\cdots ,n)$ 的所有可能的排列组成的空间上是均匀 分付, 即: 对 $(1,2,\cdots ,n)$ 的任一排列 $\left(i_1,i_2,\cdots ,i_n\right)$ 有
$$P\left(R=\left(i_1,i_2,\cdots ,i_n\right)\right)=\frac{1}{n!}$$

上面定理 1.3 给出的是 $R_1,R_2,\cdots ,R_n$ 联合分布. 类似地, 每一个 $R_i$ 在空间 { 1 , 2 , ⋯   , n } \{1,2, \cdots, n\} {1,2,⋯,n} 上有均匀分布: 每一对 $\left(R_i,R_j\right)$ 在空间 { ( r , s ) : r , s = 1 , 2 , ⋯   , n ; r ≠ s } \{(r, s): r, s=1,2, \cdots, n ; r \neq s\} {(r,s):r,s=1,2,⋯,n;r​=s}
上有均匀分布. 以推论的形式表示如下。
推论 $1.2$ 对于简单随机样本, 对任意 $r,s=1,2,\cdots ,n;r\ne s$ 及 $i\ne j,$
$$P\left(R_i=r\right)=\frac{1}{n},P\left(R_i=r,R_j=s\right)=\frac{1}{n(n-1)}$$
推论 1.3 对于简单随机样本,
$$\begin{array}{rl}E\left(R_i\right)& =\frac{n+1}{2}\\ \mathrm{var}\left(R_i\right)& =\frac{(n+1)(n-1)}{12}\\ \mathrm{cov}\left(R_i,R_j\right)& =-\frac{n+1}{12}\end{array}$$

有节点

在许多情况下, 数据中有重复数据, 称数据中存在结 (tie). 结的定义如下.
定义 : 设样本 $X_1,X_2,\cdots ,X_n$ 取自总体 $X$ 的简单随机抽样, 将数据排序后, 相同的数据点组成一个“结”，称重复数据的个数为结长. 假设有样本量为 7 的数据:
$$\begin{array}{lllllll}3.8& 3.2& 1.2& 1.2& 3.4& 3.2& 3.2\end{array}$$
其中有 4 个结, $x_2=x_6=x_7=3.2,$ 结长 $3;x_3=x_4=1.2,$ 结长 $2;x_1=3.8$ 和 $x_5=$ 3.4 均结长都为 $1.$ 如果有重复数据, 则将数据从小到大排序后, $\left(R_1,R_2\right)=(1,2),$ 也可以等于 $(2,1),$ 这样秩就不唯一。一般常采用秩平均方法处理有结数据的秩.

定义 : 将样本 $X_1,X_2,\cdots ,X_n$ 从小到大排序后, 如果 $X_{(1)}=\cdots =X_{\left({\tau }_1\right)}<$
$X_{\left({\tau }_1+1\right)}=\cdots =X_{\left({\tau }_1+{\tau }_2\right)}<\cdots <X_{\left({\tau }_1+\cdots +{\tau }_{g-1}\right)}=\cdots =X_{\left({\tau }_1+\cdots +{\tau }_g\right)},$ 其中

• 是样 本中结的个数, ${\tau }_i$ 是第 $i$ 个结的长度, $\left({\tau }_1,{\tau }_2,\cdots ,{\tau }_g\right)$ 是 $g$ 个正整数, ${\sum }_{i=1}^g{\tau }_i=n,$ 称 $\left({\tau }_1,{\tau }_2,\cdots ,{\tau }_g\right)$ 为结统计量. 第 $i$ 组样本的秩都相同，是第 $i$ 组样本原秩的平均，如 下所示:

$$r_i=\frac{1}{{\tau }_i}\sum _{k=1}^{{\tau }_i}\left({\tau }_1+\cdots +{\tau }_{i-1}+k\right)={\tau }_1+\cdots +{\tau }_{i-1}+\frac{1+{\tau }_i}{2}$$

U统计量

单样本U统计量

• 定义: 设 $X_1,X_2,\cdots ,X_n$ 取自分布族 F = { F ( θ ) , θ ∈ Θ } , \mathcal{F}=\{F(\theta), \theta \in \Theta\}, F={F(θ),θ∈Θ}, 如果待估参数$\theta$ 存在样本量为 $k$ 的无偏估计量 $h\left(X_1,X_2,\cdots ,X_k\right),k<n,$ 即满足

$$Eh\left(X_1,X_2,\cdots ,X_k\right)=\theta ,\forall \theta \in \theta$$
使上式成立的最小的样本量为 $k,$ 则称参数 $\theta$ 是 $k$ 可估诊数. 此时 $h\left(X_1,X_2,\cdots ,X_k\right)$ 称为参数 $\theta$ 的核 (kernel).

• 定义:设 $X_1,X_2,\cdots ,X_n$ 取自分布族 F = { F ( θ ) , θ ∈ Θ } \mathcal{F}=\{F(\theta), \theta \in \Theta\} F={F(θ),θ∈Θ} 的样本, 可估参
  数 $\theta$ 存在样本量为 $k$ 均无偏估计盒 $h\left(X_1,X_2,\cdots ,X_k\right),\theta$ 有对称核 $h^{\ast }(X_1,X_2,\cdots ,$ $X_k),$ 则参数 $\theta$ 的 $U$ 统计量如下定义:

$$U\left(X_1,X_2,\cdots ,X_n\right)=\frac{1}{\left(\begin{array}{l}n\\ k\end{array}\right)}\sum _{\left(i_1,i_2,\cdots ,i_k\right)}{h}^{\ast }\left(X_{i_1},X_{i_2},\cdots ,X_{i_k}\right)$$
其中 ${\sum }_{\left(i_1,i_2,\cdots ,i_k\right)}$ 表示对 { 1 , 2 , ⋯   , n } \{1,2, \cdots, n\} {1,2,⋯,n} 中所有可能的 $k$ 个数的组合求和.

• 定理 : 设 $X_1,X_2,\cdots ,X_n$ 是取自分布族 F = { F ( θ ) , θ ∈ Θ } \mathcal{F}=\{F(\theta), \theta \in \Theta\} F={F(θ),θ∈Θ} 的简单随机样本, $\theta$ 是 $k$ 可估参数, $U\left(X_1,X_2,\cdots ,X_n\right)$ 是 $\theta$ 的 $U$ 统计量, 它的核是 $h(X_1,X_2,\cdots ,$ $X_k,$ 有

$$E\left(U\left(X_1,X_2,\cdots ,X_n\right)\right)=\theta$$

如果令 $\theta =E\left[h\left(X_1,\cdots ,X_m\right)\right],$ 则 $E\left(U_n\right)=\theta .$ 为简化 $U$ 统计量的方差的计算, 不妨假设 $\theta =0,$ 否则，只需以 $h-\theta$ 代 $h.$ 对 $c=1,\cdots ,m,$ 令
$$h_c\left(x_1,\cdots ,x_c\right)=E\left[h\left(X_1,\cdots ,X_m\right)\mid X_1=x_1,\cdots ,X_c=x_c\right]$$
则由 $\theta =0,$ 有
E [ h c ( X 1 , ⋯   , X c ) ] = E { E [ h ( X 1 , ⋯   , X m ) ∣ X 1 , ⋯   , X c ] } = E [ h ( X 1 , ⋯   , X m ) ] = 0 \begin{aligned} E\left[h_{c}\left(X_{1}, \cdots, X_{c}\right)\right] &=E\left\{E\left[h\left(X_{1}, \cdots, X_{m}\right) \mid X_{1}, \cdots, X_{c}\right]\right\} \\ &=E\left[h\left(X_{1}, \cdots, X_{m}\right)\right]=0 \end{aligned} E[hc​(X1​,⋯,Xc​)]​=E{E[h(X1​,⋯,Xm​)∣X1​,⋯,Xc​]}=E[h(X1​,⋯,Xm​)]=0​
记
$${\sigma }_c^2=\mathrm{var}\left(h_c\left(X_1,\cdots ,X_c\right)\right),c=1,\cdots ,m$$
容易看出: 如果假定 $h\left(X_1,\cdots ,X_m\right)$ 的方差有限, 则 ${\sigma }_c^2<\infty ,c=1,\cdots ,m.$

• 方差为：

$$\begin{array}{rl}\mathrm{var}\left(U_n\right)& ={\left(\begin{array}{c}n\\ m\end{array}\right)}^{-2}\sum _{c=1}^m\left(\begin{array}{c}n\\ m\end{array}\right)\left(\begin{array}{c}m\\ c\end{array}\right)\left(\begin{array}{c}n-m\\ m-c\end{array}\right){\sigma }_c^2\\ & ={\left(\begin{array}{c}n\\ m\end{array}\right)}^{-1}\sum _{c=1}^m\left(\begin{array}{c}m\\ c\end{array}\right)\left(\begin{array}{c}n-m\\ m-c\end{array}\right){\sigma }_c^2\end{array}$$

$U$ 统计量具有很好的大样本性质， $U$ 统计量均方收敛到 $\theta ,$ 从而 $U$ 统计量是 $\theta$ 的相合估计 (consistency); 极限分布是正态分布.
定理1.5： 设 $X_1,X_2,\cdots ,X_n$ 是取自分布族 F = { F ( θ ) , θ ∈ Θ } \mathcal{F}=\{F(\theta), \theta \in \Theta\} F={F(θ),θ∈Θ} 的简单随机样本, $\theta$
是 $k$ 可估参数, $U\left(X_1,X_2,\cdots ,X_n\right)$ 是 $\theta$ 的 $U$ 统计量, 它的核为 $h\left(X_1,X_2,\cdots ,X_k\right),$ 有
$$E{\left[h\left(X_1,X_2,\cdots ,X_k\right)\right]}^2<\infty$$
则
$$\underset{n\to \infty }{\lim }\frac{n}{k^2}\mathrm{var}\left[U\left(X_1,X_2,\cdots ,X_n\right)\right]={\zeta }_1$$
其中 ${\zeta }_1=\mathrm{cov}\left[h\left(X_1,X_2,\cdots ,X_k\right),h\left(X_1,X_{k+1},\cdots ,X_{2k-1}\right)\right]>0$

（ Hoeffding 定理) \quad 设 $X_1,X_2,\cdots ,X_n$ 是取自分布族 F = { F ( θ ) , θ ∈ \mathcal{F}=\{F(\theta), \theta \in F={F(θ),θ∈
$\Theta \}$ 仆简单随机样本, $\theta$ 是 $k$ 可估参数, $U\left(X_1,X_2,\cdots ,X_n\right)$ 是 $\theta$ 的 $U$ 统计量，它约 核是 $h\left(X_1,X_2,\cdots ,X_k\right),$ 有
$$E{\left[h\left(X_1,X_2,\cdots ,X_k\right)\right]}^2<\infty$$
当 ${\zeta }_1=\mathrm{cov}\left[h\left(X_1,X_2,\cdots ,X_k\right),h\left(X_1,X_{k+1},\cdots ,X_{2k-1}\right)\right]>0$ 时, 有
$$\sqrt{n}\left[U\left(X_1,X_2,\cdots ,X_n\right)-\theta \right]\to N\left(0,k^2{\zeta }_1\right)(n\to +\infty )$$

两样本U统计量

定义 ： 设 X = { X 1 , X 2 , ⋯   , X n } , X 1 , X 2 , ⋯   , X n X=\left\{X_{1}, X_{2}, \cdots, X_{n}\right\}, X_{1}, X_{2}, \cdots, X_{n} X={X1​,X2​,⋯,Xn​},X1​,X2​,⋯,Xn​ 独立同分布取自分布族 F , Y = { Y 1 , Y 2 , ⋯   , Y m } \mathcal{F}, Y=\left\{Y_{1}, Y_{2}, \cdots, Y_{m}\right\} F,Y={Y1​,Y2​,⋯,Ym​} 独立同分布取自分布族 $\mathcal{G},X$ 与 $Y$ 独立. 如果待估 参数 θ ∈ F = { F , G } , \theta \in \mathbf{F}=\{F, G\}, θ∈F={F,G}, 存在样本量分别为 $k⩽n$ 和 $l⩽m$ 的样本构成的估计量 $h\left(X_1,X_2,\cdots ,X_k,Y_1,Y_2,\cdots ,Y_l\right)$ 是 $\theta$ 的无偏估计, 即满足
$$Eh\left(X_1,X_2,\cdots ,X_k,Y_1,Y_2,\cdots ,Y_l\right)=\theta ,\forall \theta \in \mathbf{F}$$
上述关系成立的暖小的样本量为 $k,l,$ 则称参数 $\theta$ 是 $(k,l)$ 可估的, $h(X_1,X_2,\cdots ,X_k,$ $Y_1,Y_2,\cdots ,Y_l)$ 称为参数 $\theta$ 的核 (kernel).

定义 ： X = { X 1 , X 2 , ⋯   , X n } , X 1 , X 2 , ⋯   , X n X=\left\{X_{1}, X_{2}, \cdots, X_{n}\right\}, X_{1}, X_{2}, \cdots, X_{n} X={X1​,X2​,⋯,Xn​},X1​,X2​,⋯,Xn​ 独立同分布取自分布族 F , Y = { Y 1 , Y 2 , ⋯   , Y m } \mathcal{F}, Y=\left\{Y_{1}, Y_{2}, \cdots, Y_{m}\right\} F,Y={Y1​,Y2​,⋯,Ym​} 与 $X$ 独立同分布取自分布族 $\mathcal{G},X$ 与 $Y$ 独立, $(k,l)$ 可估 参数 $\theta$ 存在样本量分别为 $(k,l)$ 物对称无偏估计量 $h\left(X_1,X_2,\cdots ,X_k,Y_1,Y_2,\cdots ,Y_l\right),$
则参数 $\theta$ 的 $U$ 统计量如下定义:
$$\begin{array}{rl}U\left(X_1,X_2,\cdots ,X_n,Y_1,Y_2,\cdots ,Y_m\right)=& \frac{1}{\left(\begin{array}{l}n\\ k\end{array}\right)\left(\begin{array}{c}m\\ l\end{array}\right)}\sum _{\left(i_1,i_2,\cdots ,i_k\right)}\sum _{\left(j_1,j_2,\cdots ,j_l\right)}\\ & h\left(X_{i_1},X_{i_2},\cdots ,X_{i_k},Y_{j_1},Y_{j_2},\cdots ,Y_{j_l}\right)\end{array}$$

设 $E\left[h\left(X_1,\cdots ,X_{m_1};Y_1,\cdots ,Y_{m_2}\right)\right]=\theta ,$ 则 $E\left(U_{n_1{n}_2}\right)=\theta .$ 与单样本的情况相类似, 可以得到 $U$ 统计量的方差. 令
$$\begin{array}{rl}& h_{cd}\left(x_1,\cdots ,x_c;y_1,\cdots ,y_d\right)\\ =& E\left[h\left(X_1,\cdots ,X_{m_1};Y_1,\cdots ,Y_{m_2}\right)\mid X_1=x_1,\cdots ,X_c=x_c;Y_1=y_1,\cdots ,Y_d=y_d\right]\\ {\sigma }_{cd}^2=\mathrm{var}\left(h_{cd}\left(X_1,\cdots ,X_c;Y_1,\cdots ,Y_d\right)\right)& \end{array}$$
其中 $c=0,1,\cdots ,m_1;d=0,1,\cdots ,m_2,{\sigma }_{00}^2=0.$ 则
$$\mathrm{var}\left(U_{n_1{n}_2}\right)=\frac{1}{\left(\begin{array}{c}{n}_1\\ m_1\end{array}\right)\left(\begin{array}{l}{n}_2\\ m_2\end{array}\right)}\sum _{c=0}^{m_1}\sum _{d=0}^{m_2}\left(\begin{array}{c}{m}_1\\ c\end{array}\right)\left(\begin{array}{c}{n}_1-m_1\\ m_1-c\end{array}\right)\left(\begin{array}{c}{m}_2\\ d\end{array}\right)\left(\begin{array}{c}{n}_2-m_2\\ m_2-d\end{array}\right){\sigma }_{cd}^2$$

定理 ： 对于两样本 $U$ 统计量 $U_{n_1{n}_2},$ 如果核 $h\left(X_1,\cdots ,X_{m_1};Y_1,\cdots ,Y_{m_2}\right)$
的数学期望为 $\theta$ 且方差有限, ${\sigma }_{10}^2>0,{\sigma }_{01}^2>0,{\sigma }_{cd}^2$ 在式 $(2.2.2)$ 中定义，又记 $n=n_1+n_2$ 和
$${\sigma }_{n_1{n}_2}^2=n\left(\frac{m_1^2}{n_1}{\sigma }_{10}^2+\frac{m_2^2}{n_2}{\sigma }_{01}^2\right)$$
则当 $n_1\to \infty ,n_2\to \infty$ 时, 有
$$\begin{array}{c}\frac{\sqrt{n}\left(U_{n_1{n}_2}-\theta \right)}{{\sigma }_{n_1{n}_2}}\stackrel{D}{⟶}N(0,1)\\ \frac{U_{n_1{n}_2}-\theta }{\sqrt{\mathrm{var}\left(U_{n_1{n}_2}\right)}}\stackrel{D}{⟶}N(0,1)\end{array}$$

例 ： 设总体 $X$ 服从分布函数为 $F(x)$ 的分布，Y 服从分布函数为 $G(x)$ 的分布, $X_1,X_2,\cdots ,X_n$ 独立同分布取自分布族$\mathcal{F},\left(Y_1,Y_2,\cdots ,Y_m\right)$ 独立同分布取
自分布族 $\mathcal{G},X$ 与 $Y$ 独立, 待估参数是 $\theta =P(X>Y),$ 考忘 $\theta$ 的 $U$ 统计量和它的 性秒.
解 \quad 给定 $i,j,$ 令
$$h\left(X_i,Y_j\right)=I\left(X_i>Y_j\right)=\{\begin{array}{ll}1,& X_i>Y_i\\ 0,& \text{ 其他. }\end{array}$$
容易知道: $E\left(h\left(X_i,Y_j\right)\right)=\theta ,$ 由 $h\left(X_i,Y_j\right)$ 张成的 $U$ 统计量定义为
$$U_{nm}=\frac{1}{nm}\sum _{i=1}^n\sum _{j=1}^{m}I\left(X_i>Y_j\right)$$
这个 $U$ 统计量将在第 2 章介绍，它是 Mann 和 Whitney 于 1947 年提出的, 称做 Mann-Whitney 统计量, 它是 $\theta =\mathrm{P}(X>Y)$ 的最小方差无偏估计. 如果我们要检验 问题:
$$H_0:F=G\leftrightarrow H_1:F⩾G$$

则可知在零假设成立的情况下, $U$ 统计量的方差为
$$\mathrm{var}{\left(U_n\right)}_m=\frac{n+m+1}{12nm}$$
贝此可知, 当 $n\to \infty ,m\to \infty$ 时,
$$\sqrt{12nm}\cdot \frac{U-0.5}{n+m}\stackrel{\mathcal{L}}{\to }N(0,1)$$
故在大样本情况下检验的拒绝域为
$$U⩾\frac{1}{2}+\sqrt{\frac{n+m}{12nm}}\cdot Z_{1-\alpha }$$
这个检验称为 Mann-Whitney 检验.

假设检验

势

中 ${\Theta }_0\cap {\Theta }_1=\varnothing ,$ 检验统计量为 $T_n.$ 拒绝零假设的概率, 也就是样本落入拒绝域 $W$ 的概率为检验的 势, 记为
$$g_{T_n}(\theta )=P\left(T_n\in W\right),\theta \in \theta ={\theta }_0\cup {\Theta }_1$$
当 $\theta \in {\Theta }_0,$ 检验的势是犯第一类错误的概率，即显著性水平

当 $ \theta \in \Theta_{1} \quad,$ 检验的势是不犯第二类错误的概率,
一个有意义的检验, 当显著性水平给定时，检验的势函数应该越大越好。

无偏检验

定义 ：设 $W$ 表示一个检验的拒绝域, 对一般的假设检验问题, 如果
$$P(X\in W)\{\begin{array}{ll}⩽\alpha ,& \theta \in {\theta }_0\\ ⩾\alpha ,& \theta \in {\Theta }_1\end{array}$$
则称该检验为无偏检验.

假设检验与置信区间的关系

• 以单变量位置参数为例，假设参数 $\theta$ 的估计量为 $\hat{\theta },$ 则可以 用 $\hat{\theta }$ 构造 $\theta$ 的一个 $100(1-\alpha )\%$ :

$$\left(\hat{\theta }-C_{\alpha },\hat{\theta }+C_{\alpha }\right)$$

• 如果猜想的 ${\theta }_0$ 不在该区间内，则可以拒绝零假设，认为数 据所支持的总体与猜想的总体不一致
• 如果 ${\theta }_0$ 在该区间内，则表示不能拒绝零假设，但是这没有 表明 $\theta$ 就是 ${\theta }_0$
• 置信区间和假设检验虽然对总体推断的角度不同，但是推断 的结果却可能是一致的

经验分布

随机变量 $X\in \mathbb{R}$ 的分布函数 $($ 右连续 $)$ 定义为:
$F(x)=\mathbb{P}(X\le x)$
对分布函数最直接的估计是应用经验分布函数。经验分布函 数的定义为：当有独立的随机样本 $X_1,\dots ,X_n$ 时，定义
$${\hat{F}}_n(x)=\frac{1}{n}\sum _{i=1}^{n}I\left(X_i\le x\right)$$
这里 $I(X\le x)$ 为示性函数 (indicator function)，当 $X\le x$ 时 取值为 $1,$ 否则为 0

定理 ：令 $X_1,X_2,\cdots ,X_n$ 的分布函数为 $F,{\hat{F}}_n$ 为经验分布函数, 于是以 下结论成立:

(1) $\forall x,E\left({\hat{F}}_n(x)\right)=F(x),\mathrm{var}\left({\hat{F}}_n(x)\right)=\frac{F(x)(1-F(x))}{n};$ 于是, $\mathrm{MSE}=$
$\frac{F(x)(1-F(x))}{n}\to 0,$ 而且 ${\dot{F}}_n(x)\stackrel{P}{\to }F(x).$
(2) (Glivenko-Cantelli 定理) ${\sup }_x\left|{\hat{F}}_n(x)-F(x)\right|\stackrel{\text{ a.s. }}{\to }0$.
(3) (Dvoretzky-Kiefer-Wolfowitz $(\mathrm{D}\mathrm{K}\mathrm{W})$ 不等式) $\forall \epsilon >0,$
$$P\left(\underset{x}{\sup }\left|{\hat{F}}_n(x)-F(x)\right|>\epsilon \right)⩽2{\mathrm{e}}^{-2n{\epsilon }^2}$$

由 DKW 不等式, 我们可以构造一个置信区间. 令 ${\epsilon }_n^2=\ln (2/\alpha )/(2n),L(x)=$
$\max \left\{{\hat{F}}_n(x)-{\epsilon }_n,0\right\},U(x)=\min \left\{{\hat{F}}_n(x)+{\epsilon }_n,1\right\},$ 根据式 (1.3) 可以得到
$$P(L(x)⩽F(x)⩽U(x))⩾1-\alpha$$
也就是说，可以得到如下推论.

推论 ： \quad 令
$$\begin{array}{l}L(x)=\max \left\{{\hat{F}}_n(x)-{\epsilon }_n,0\right\}\\ U(x)=\min \left\{{\hat{F}}_n(x)+{\epsilon }_n,1\right\}\end{array}$$
其中
$${\epsilon }_n=\sqrt{\frac{1}{2n}\ln \left(\frac{2}{\alpha }\right)}$$
那么
$$P(L(x)⩽F(x)⩽U(x))⩾1-\alpha .$$

生存函数

生存函数是生存分析中的基本概念，它是用分布函数来定 义:
$$S(t)=\mathbb{P}(T>t)=1-F(t)$$
其中， $T$ 是服从分布 $F$ 的随机变量 进一步，我们可以用经验分布函数来估计生存函数
$$S_n(t)=1-F_n(t)$$
寿命超过t的数据所占的比例

危险函数

危险函数：一个生存时间超过给定时间的个体瞬时死亡率 如果一个个体在时刻 $\mathrm{t}$ 仍然存活，那么个体在时间范围 $(t,t+\delta )$ 死亡的概率为
$$\mathbb{P}(t\le T\le t+\delta \mid T\ge t)=\frac{F(t+\delta )-F(t)}{1-F(t)}\approx \frac{\delta f(t)}{1-F(t)}$$
危险函数定义为：
$$h(t)=\frac{f(t)}{1-F(t)}$$
$h(t)$ 是一个存活时间超过规定时间的个体瞬时死亡率。

危险函数还可以表示为:
$$h(t)=-\frac{d}{dt}\ln [1-F(t)]=-\frac{d}{dt}\ln S(t)$$
例如，考虑指数分布 $F(t)=1-e^{-\lambda t}$ 则可计算得到 $h(t)=\lambda$

利用 $\delta$ -method，可以计算对数生存函数的方差
var ⁡ { ln ⁡ [ 1 − F n ( t ) ] } ≈ var ⁡ [ 1 − F n ( t ) ] [ 1 − F ( t ) ] 2 = 1 n F ( t ) ( 1 − F ( t ) ) [ 1 − F ( t ) ] 2 = 1 n F ( t ) 1 − F ( t ) . \begin{aligned} \operatorname{var}\left\{\ln \left[1-F_{n}(t)\right]\right\} & \approx \frac{\operatorname{var}\left[1-F_{n}(t)\right]}{[1-F(t)]^{2}}=\frac{1}{n} \frac{F(t)(1-F(t))}{[1-F(t)]^{2}} \\ &=\frac{1}{n} \frac{F(t)}{1-F(t)} . \end{aligned} var{ln[1−Fn​(t)]}​≈[1−F(t)]2var[1−Fn​(t)]​=n1​[1−F(t)]2F(t)(1−F(t))​=n1​1−F(t)F(t)​.​

渐进相对效率

Pitman 渐进相对效率是ARE的代表。针对零假设只取一个值的 假设检验问题，在零假设的一个邻域内，固定势，令备择假设逼 近零假设，将两个统计量的样本量比值的极限定义为渐进相对效 率。

具体而言，对假设检验问题
$$H_0:\theta ={\theta }_0\leftrightarrow H_1:\theta \ne {\theta }_0$$
取备择假设序列 ${\theta }_i(i=1,2,\cdots ),{\theta }_i\ne {\theta }_0,$ 且 ${\lim }_{i\to \infty }{\theta }_i={\theta }_0.$ 在固定势 $1-\beta$ 之下，我
的两个检验统计量序列, $n_i$ 和 $m_i$ 是两个统计量分别对应的样本量. 势函数满足:
$$\begin{array}{c}{\lim }_{i\to \infty }{g}_{V_{n_i}}\left({\theta }_0\right)={\lim }_{i\to \infty }{g}_{T_{m_i}}\left({\theta }_0\right)=\alpha \\ \alpha <{\lim }_{i\to \infty }{g}_{V_{n_i}}\left({\theta }_i\right)={\lim }_{i\to \infty }{g}_{T_{m_i}}\left({\theta }_i\right)=1-\beta <1\end{array}$$
如果极限
$$e_{VT}=\underset{i\to \infty }{\lim }\frac{m_i}{n_i}$$
存在，且独立于 ${\theta }_i,\alpha$ 和 $\beta ,$ 则称 $e_{VT}$ 是 $V$ 相对于 $T$ 的 渐近相对效率，简记为 $\mathrm{ARE}(V,T).$ 它是 Pitman 于 1948 年提出来的, 因此又称为 Pitman 沂近相对效率.

下面的 Nother 定理给出了计算沂近相对效率应满足的 5 个条件.
定理 ：对假设检验问题 $H_0:\theta ={\theta }_0\leftrightarrow H_1:\theta \ne {\theta }_0:$
(1) $V_n$ 和 $T_m$ 是相容的统计量. 也就是说: 当 $n,m\to +\infty$ 时 $,\forall \theta \ne {\theta }_0,$
$$g\left({\theta }_i,V_{n_i}\right)\to 1,g\left({\theta }_i,T_{m_i}\right)\to 1$$
(2) 如果记 $E\left(V_{n_i}\right)={\mu }_{V_{n_i}},\mathrm{var}\left(V_{n_i}\right)={\sigma }_{V_{n_i}}^2,E\left(T_{m_i}\right)={\mu }_{T_{m_i}},\mathrm{var}\left(T_{m_i}\right)={\sigma }_{T_{m_i}}^2,$
则在 $\theta ={\theta }_0$ 的令域中一致地有缸
$$\begin{array}{l}\frac{V_{n_i}-{\mu }_{V_{n_i}}(\theta )}{{\sigma }_{V_{n_i}}(\theta )}\stackrel{\mathcal{L}}{\to }N(0,1)\\ \frac{T_{m_i}-{\mu }_{T_{m_i}}(\theta )}{{\sigma }_{T_{m_i}}(\theta )}\stackrel{\mathcal{L}}{\to }N(0,1)\end{array}$$
(3) 存在导数 ${\frac{\mathrm{d}{\mu }_{V_{n_i}}(\theta )}{\mathrm{d}\theta }|}_{\theta ={\theta }_0},{\frac{\mathrm{d}{\mu }_{T_{m_i}}(\theta )}{\mathrm{d}\theta }|}_{\theta ={\theta }_0};$ 而且 ${\mu }_{V_{n_i}}^{\prime }(\theta ),{\mu }_{T_{m_i}}^{\prime }(\theta )$ 在 $\theta ={\theta }_0$ 的
某一个闭邻域内连续, 导数不为 $0.$
(4)
$$\begin{array}{l}{\lim }_{i\to \infty }\frac{{\sigma }_{V_{n_i}}\left({\theta }_i\right)}{{\sigma }_{V_{n_i}}\left({\theta }_0\right)}={\lim }_{i\to \infty }\frac{{\sigma }_{T_{m_i}}\left({\theta }_i\right)}{{\sigma }_{T_{m_i}}\left({\theta }_0\right)}=1\\ {\lim }_{i\to \infty }\frac{{\mu }_{V_{n_i}}\left({\theta }_i\right)}{{\mu }_{V_{n_i}}\left({\theta }_0\right)}={\lim }_{i\to \infty }\frac{{\mu }_{T_{m_i}}\left({\theta }_i\right)}{{\mu }_{T_{m_i}}\left({\theta }_0\right)}=1\end{array}$$
(5)
$$\underset{i\to \infty }{\lim }\frac{{\mu }_{V_{n_i}}^{\prime }\left({\theta }_0\right)}{\sqrt{n_i{\sigma }_{V_{n_i}}^2\left({\theta }_0\right)}}=C_V$$
$$\underset{i\to \infty }{\lim }\frac{{\mu }_{T_{m_i}}^{\prime }\left({\theta }_0\right)}{\sqrt{m_i{\sigma }_{T_{m_i}}^2\left({\theta }_0\right)}}=C_T$$
则 $V$ 相对于 $T$ 的 Pitman 渐近相对效率等于
$$\mathrm{ARE}(V,T)=\underset{i\to \infty }{\lim }\frac{m_i}{n_i}=\frac{C_V^2}{C_T^2}$$

• 检验效率

定义 ： 假设检验问题: $H_0:\theta ={\theta }_0\leftrightarrow H_1:\theta ={\theta }_1,$ 上述定理中定义的极
限为
$$\underset{i\to \infty }{\lim }\frac{{\mu }_{V_{n_i}}^{\prime }\left({\theta }_0\right)}{\sqrt{n}{\sigma }_{V_{n_i}}\left({\theta }_0\right)}$$
称为 $V_n$ 的 效率, 记为 $\mathrm{e}\mathrm{f}\mathrm{f}(\mathrm{V})$.