数理统计

写在前面

本文档是根据《数理统计（第二版）》（韦来生编著 科学出版社）、张立新教授上课的slides、课程笔记的内容整理而成，供自己复习查阅使用。

整理的时候，有一些内容略去了（以后有机会再填坑吧），详见教材。

Overview

数理统计的目的是从样本推断总体分布，称为统计推断（statistical inference）。

Sampling Distribution

chapter 1 绪论

1.2 基本概念

假定有一批产品有10000件，其中有正品也有废品，为估计废品率，往往从中抽取一部分，如100件进行检查。此时

• 这批10000件产品称为总体（population），

• 其中的每件产品称为个体（individual），

• 而从中抽取的100件产品称为样本（sample），

• 样本中个体的数目称为样本大小/样本容量（sample size），

• 而抽取样本的行为称作抽样（sampling）。

我们关心个体上的某一些数量指标，总体可以看成由所有个体上的某种数量指标构成的集合。因此，总体可以用一个随机变量及其概率分布来描述。

样本的两重性是说，样本既可以看成具体的数，又可以看成随机变量。在实施抽样后，它是具体的数；在实施抽样前，它被看成随机变量。

简单随机样本是指$X_1,...,X_n$独立同分布（independent identically distributed, i.i.d）。以下的样本均指的是简单随机样本。于是样本$X_1,...,X_n$的联合分布函数可以表示为
$$F(x_1,...,x_n)=F(x_1)\cdot F(x_2)\cdot \cdot \cdot F(x_n)=\prod _{i=1}^{n}F(x_i)$$
若$F$有密度$f$，则其联合密度函数可以表示为
$$f(x_1,...,x_n)=f(x_1)\cdot f(x_2)\cdot \cdot \cdot f(x_n)=\prod _{i=1}^{n}f(x_i)$$

1.3 统计量 Statistic

统计量是样本的函数，只与样本有关，与未知参数无关；具有两重性。

要求

• 会判别
• 会求分布 ⬅️样本的函数

常用统计量

样本均值 sample mean
$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$
样本方差 sample variance
$$\begin{gathered} S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2 \\ {S}_n^2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2 \end{gathered}$$
其中，称$S^2$为样本方差，$S$为样本标准差。

性质：

• ${\sum }_{i=1}^n(X_i-\bar{X})=0$
• 若$Y_i=a{X}_i+b$，则$\bar{Y}=a\bar{X}+b$，$S_Y^2=a^2{S}_X^2$
• $\forall c,{\sum }_{i=1}^n(X_i-c{)}^2\ge {\sum }_{i=1}^n(X_i-\bar{X}{)}^2$

样本矩 sample moments

• 样本k阶原点矩

$$\begin{gathered} a_{nk}=\frac{1}{n}\sum _{i=1}^n{X}_i^k,k=1,2,3,... \\ {a}_{n1}=\bar{X} \end{gathered}$$

• 样本k阶中心矩

$$\begin{gathered} m_{nk}=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^k,k=2,3,... \\ {m}_{n2}=S_n^2 \end{gathered}$$

样本协方差 sample covariance
$$S_{XY}=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$$
次序统计量及其有关统计量

• 次序统计量 order statistics $X_{(1)}\le X_{(2)}\le ...\le X_{(n)}$

• 样本中位数 sample median
  $$m_{\frac{1}{2}}=\{\begin{array}{llc}& X_{((n+1)/2)}& n为奇数\\ & \frac{1}{2}[X_{(n/2)}+X_{((n+1)/2)}]& n为偶数\end{array}$$

• 样本p位数 sample p-fractile
  $$m_p=X_{([(n+1)p])}$$

• 极值 extremum of sample

  • 极小值 $X_{(1)}$
  • 极大值 $X_{(n)}$

• 样本极差 sample range
  $$R=X_{(n)}-X_{(1)}$$

• 样本变异系数

• 样本偏度

• 样本峰度

经验分布函数 empirical distribution function

用经验分布函数$F_n(x)$刻画总体分布函数$F(x)$
F n ( x ) = 1 n # { X i : X i < x , i = 1 , 2 , . . . , n } F_n(x)=\frac{1}{n}\#\{X_i:X_i<x, i = 1,2,...,n\} Fn​(x)=n1​#{Xi​:Xi​<x,i=1,2,...,n}

性质

固定x，$F_n(x)$是一个统计量。
$$\begin{gathered} F_n(x)=\frac{1}{n}\sum _{i=1}^n{Y}_i,Y_i=I_{(-\infty ,x]}{X}_i \\ P(Y_i=1)=P(X_i\le x)=F(x),P(Y_i=0)=P(X_i>x)=1-F(x) \\ {Y}_i\sim B(1,F(x)),n{F}_n(x)=\sum _{i=1}^n{Y}_i\sim B(n,p) \\ P(F_n(x)=\frac{k}{n})=P(\sum _{i=1}^n{Y}_i=k)=C_n^{k}F(x{)}^k(1-F(x){)}^{n-k} \end{gathered}$$

由二项分布性质，$n\to \infty$

• （Bernoulli大数定律）$F_n(x)\to F(x)P$

• （Borel强大数定律）$F_n(x)\to F(x)a.s.$

• （中心极限定理）$\frac{\sqrt{n}(F_n(x)-F(x))}{\sqrt{F(x)(1-F(x))}}\to N(0,1)\mathcal{L}$

• （格里汶科定理 Glivenko-Cantelli Theorem）
  $$P(\underset{n\to \infty }{\lim }\underset{x\in R}{\sup }|F_n(x)-F(x)|=0)=1$$

chapter 2 抽样分布及若干预备知识

2.1 引言

抽样分布/统计量的分布（样本函数的分布） sampling distribution

2.2 正态总体 $\bar{X}$和$S^2$的分布

设$X_1,...,X_{n}i.i.d.\sim N(a,{\sigma }^2)$

• 线性组合分布
  $$\sum _{k=1}^n{c}_k{X}_k\sim N(a\sum _{k=1}^n{c}_k,{\sigma }^2\sum _{k=1}^n{c}_k^2)$$

• 线性变换 $$Y=AX$$

  $Y_1,...,Y_n$也是正态随机变量，其他结论略

• 样本均值
  $$\bar{X}=\frac{1}{n}\sum _{k=1}^n{X}_k\sim N(a,\frac{{\sigma }^2}{n})$$

• 样本方差

  $$\frac{(n-1)S^2}{{\sigma }^2}=\sum _{i=1}^n\frac{(X_i-\bar{X}{)}^2}{{\sigma }^2}\sim {\chi }_{n-1}^2$$

• $\bar{X}$和$S^2$独立

2.3 次序统计量的分布

单个次序统计量的分布

• $X_{(m)}$
  $$\begin{gathered} F_m(x)=P(X_{(m)}\le x)=\sum _{i=m}^n{C}_n^i(F(x){)}^i(1-F(x){)}^{n-i} \\ {f}_m(x)=m{C}_n^{m}f(x)(F(x){)}^{m-1}(1-F(x){)}^{n-m} \end{gathered}$$

• $X_{(1)}$
  $$\begin{gathered} F_1(x)=P(X_{(1)}\le x)=1-(1-F(x){)}^n \\ {f}_1(x)=n(1-F(x){)}^{n-1}f(x) \end{gathered}$$

• $X_{(n)}$
  $$\begin{gathered} F_n(x)=P(X_{(1)}\le x)=(F(x){)}^n \\ {f}_n(x)=n(F(x){)}^{n-1}f(x) \end{gathered}$$

多个次序统计量的联合分布

• $(X_{(1)},...,X_{(n)})$
  $$g(x_1,...,x_n)=\{\begin{array}{llc}& n!f(x_1)f(x_2)...f(x_n)& x_1<x_2<...<x_n\\ & 0& 其他\end{array}$$

• $(X_{(i)},X_{(j)})$
  $$f_{ij}(x,y)=\{\begin{array}{llc}& \frac{n!}{(i-1)!(j-i-1)!(n-j)!}(F(x){)}^{i-1}(F(y)-F(x){)}^{j-i-1}(1-F(y){)}^{n-j}f(x)f(y)& x<y\\ & 0& 其他\end{array}$$

• $(X_{(1)},X_{(n)})$
  $$f(x,y)=\{\begin{array}{llc}& n(n-1)(F(y)-F(x){)}^{n-2}f(x)f(y)& x<y\\ & 0& 其他\end{array}$$

样本极差的分布

• $R=X_{(n)}-X_{(1)}$

  略

均匀分布情形，设随机变量$X_1,...,X_{n}i.i.d.\sim U(0,1)$

• $X_{(m)}$
  $$f_m(x)=\{\begin{array}{llc}& m{C}_n^m{x}^{m-1}(1-x{)}^{n-m}& 0<x<1\\ & 0& 其他\end{array}$$

• $(X_{(1)},...,X_{(n)})$
  $$g(x_1,...,x_n)=\{\begin{array}{llc}& n!& 0<x_1<...<x_n<1\\ & 0& 其他\end{array}$$

• $(X_{(i)},X_{(j)})$
  $$f_{ij}(x,y)=\{\begin{array}{llc}& \frac{n!}{(i-1)!(j-i-1)!(n-j)!}{x}^{i-1}(y-x{)}^{j-i-1}(1-y{)}^{n-j}& 0<x<y<1\\ & 0& 其他\end{array}$$

• $(X_{(1)},X_{(n)})$
  $$f(x,y)=\{\begin{array}{llc}& n(n-1)(F(y)-F(x){)}^{n-2}f(x)f(y)& x<y\\ & 0& 其他\end{array}$$

• $R=X_{(n)}-X_{(1)}$
  $$g_R(r)=\{\begin{array}{llc}& n(n-1)r^{n-2}(1-r)& 0<r<1\\ & 0& 其他\end{array}$$

2.4 ${\chi }^2$分布 Chi-Square Distribution

构造性定义

• n个独立标准正态分布平方和

• 设$X_1,...,X_{n}i.i.d.\sim N(0,1)$，则

  $$\xi =\sum _{i=1}^n{X}_i^2\sim {\chi }^2(n)\sim \Gamma (\frac{n}{2},\frac{1}{2})$$

pdf
$$g_n(x)=\{\begin{array}{llc}& (\frac{1}{2}{)}^{\frac{n}{2}}\frac{1}{\Gamma (\frac{n}{2})}{x}^{\frac{n}{2}-1}{e}^{-\frac{x}{2}}& x>0\\ & 0& x\le 0\end{array}$$

图,上侧$\alpha$分位数

性质

• $E\xi =n$
• $D\xi =2n$
• 可加性，若${\xi }_1\sim {\chi }_n^2,{\xi }_2\sim {\chi }_m^2$，则${\xi }_1+{\xi }_2\sim {\chi }_{n+m}^2$

$t$分布

构造性定义

• 设$X\sim N(0,1),Y\sim {\chi }_n^2$且相互独立，则

  $$T=\frac{X}{\sqrt{Y/n}}\sim t(n)$$

pdf
$$t_n(x)=\frac{\Gamma (\frac{n+1}{2})}{\Gamma (\frac{n}{2})\sqrt{n\pi }}(1+\frac{x^2}{n}{)}^{-\frac{n+1}{2}}$$
图，双侧上$\alpha$分位数

性质

• $ET=0,n\ge 2$
• $DT=\frac{n(n-2)}{2},n\ge 3$
• $n\to \infty ，T\to N(0,1)$

特例

• $t=1,t_1(x)=\frac{1}{\pi (1+x^2)}$为柯西（Cauchy）分布

F分布

构造性定义

• 两个独立的${\chi }^2$分布除以自由度之商

• 设$X\sim {\chi }_m^2,Y\sim {\chi }_n^2$且相互独立，则
  $$F=\frac{X/m}{Y/n}\sim F(m,n)$$

pdf
$$f_{m,n}(x)=\{\begin{array}{llc}& \frac{\Gamma (\frac{m+n}{2})}{\Gamma (\frac{m}{2})+\Gamma (\frac{n}{2})}{m}^{\frac{m}{2}}{n}^{\frac{n}{2}}{x}^{\frac{m}{2}-1}(n+mx{)}^{-\frac{m+n}{2}}& x>0\\ & 0& 其他\end{array}$$
图，上侧$\alpha$分位数

性质

• 若$Z\sim F(m,n)$，则$\frac{1}{Z}\sim F(n,m)$
• $EZ=\frac{n}{n-2},n>2$
• $DZ=\frac{2n^2(m+n-2)}{m(n-2{)}^2(n-4)},n>4$
• 若$T\sim t(n)$，则$T^2\sim F(1,n)$
• $F_{m,n}(1-\alpha )=\frac{1}{F_{n,m}(\alpha )}$

$\Gamma$分布

$X\sim \Gamma (\alpha ,\lambda )$

Pdf记
$$p(x;\alpha ,\lambda )=\{\begin{array}{llc}& \frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{x}^{\alpha -1}{e}^{-\lambda x}& x>0\\ & 0& x\le 0\end{array}$$
性质

• 特征函数
  $$E{e}^{itX}=\varphi (t)=(1-\frac{t}{\lambda }{)}^{-\alpha }$$

• k阶矩 会求
  $$E{X}^k=\frac{(\alpha +k-1)!}{{\lambda }^k(\alpha -1)!}$$

• $EX=\frac{\alpha }{\lambda },DX=\frac{\alpha }{{\lambda }^2}$

• 关于$\alpha$的可加性，若$X_1\sim \Gamma ({\alpha }_1,\lambda ),X_2\sim \Gamma ({\alpha }_2,\lambda )$，则$X_1+X_2\sim \Gamma ({\alpha }_1+{\alpha }_2,\lambda )$

• 关于$\lambda$的可伸缩性，若$X\sim \Gamma (\alpha ,\lambda )$，则$kX\sim \Gamma (\alpha ,\frac{\lambda }{k})$

特例

• $\Gamma (1,\lambda )=E(\lambda )$
• $\Gamma (\frac{n}{2},\frac{1}{2})={\chi }_n^2$

Beta分布

$X\sim \beta (a,b)$

Pdf
$$p(x;a,b)=\{\begin{array}{llc}& \frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{x}^{a-1}(1-x{)}^{b-1}& 0<x<1\\ & 0& 其他\end{array}$$
性质

• k阶矩
  $$E{X}^k=\frac{\Gamma (a+b)\Gamma (a+k)}{\Gamma (a)\Gamma (a+b+k)}$$

• $EX=\frac{a}{a+b},DX=\frac{ab}{(a+b{)}^2(a+b+1)}$

特例

• $\beta (1,1)=U(0,1)$

Beta-II分布/Z分布

$X\sim Z(a,b)$

Pdf
$$p(x;a,b)=\{\begin{array}{llc}& \frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}\frac{x^{a-1}}{(1+x{)}^{a+b}}& x>0,a,b>0\\ & 0& 其他\end{array}$$
性质

• k阶矩
  $$E{X}^k=\frac{\Gamma (a+k)\Gamma (b-k)}{\Gamma (a)\Gamma (b)}$$

• $EX=\frac{a}{b-1},b>1$

关系

• 与Z分布
  • $Y\sim \beta (a,b)$，则$\frac{Y}{1-Y}\sim Z(a,b)$
  • $X\sim Z(a,b)$，则$\frac{X}{1+X}\sim \beta (a,b)$
• 与$\Gamma$分布，$X_1\sim \Gamma ({\alpha }_1,\lambda ),X_2\sim \Gamma ({\alpha }_2,\lambda )$
  • $X_1+X_2\sim \Gamma ({\alpha }_1+{\alpha }_2,\lambda )$
  • $\frac{X_1}{X_2}\sim Z({\alpha }_1,{\alpha }_2)$
  • $\frac{X_1}{X_1+X_2}\sim \beta ({\alpha }_{!},{\alpha }_2)$
• 与F分布，$F\sim F(m,n)$
  • $\frac{m}{n}F\sim Z(\frac{m}{2},\frac{n}{2})$

重要结论

设$X_1,...,X_{n}i.i.d.\sim N(a,{\sigma }^2)$，则
$$\sum _{i=1}^n\frac{(X_i-a{)}^2}{{\sigma }^2}\sim {\chi }_n^2$$
注意
$$\sum _{i=1}^n\frac{(X_i-\bar{X}{)}^2}{{\sigma }^2}\sim {\chi }_{n-1}^2$$
设$X_1,...,X_{n}i.i.d.\sim N(a,{\sigma }^2)$，则
$$\begin{gathered} \bar{X}\sim N(a,\frac{{\sigma }^2}{n})\Rightarrow \frac{\bar{X}-a}{\sigma /\sqrt{n}}\sim N(0,1) \\ \frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }_{n-1}^2 \\ \Rightarrow T=\frac{\sqrt{n}(\bar{X}-a)}{S}\sim t(n-1) \end{gathered}$$
设$X_1,...,X_{m}i.i.d.\sim N(a_1,{\sigma }^2),Y_1,...,Y_{n}i.i.d.\sim N(a_2,{\sigma }^2)$且相互独立，则
$$\begin{gathered} \bar{X}\sim N(a_1,\frac{{\sigma }^2}{m}),\bar{Y}\sim N(a_2,\frac{{\sigma }^2}{n})\Rightarrow \bar{X}-\bar{Y}\sim N(a_1-a_2,\frac{m+n}{mn}{\sigma }^2) \\ \frac{(m-1)S_1^2}{{\sigma }^2}\sim {\chi }_{m-1}^2,\frac{(n-1)S_2^2}{{\sigma }^2}\sim {\chi }_{n-1}^2\Rightarrow \frac{1}{{\sigma }^2}[(m-1)S_1^2+(n-1)S_2^2]\sim {\chi }_{m+n-2}^2 \\ \Rightarrow T=\frac{\bar{X}-\bar{Y}-(a_1-a_2)}{S_w^2}\sqrt{\frac{mn}{m+n}}\sim t(m+n-2), \\ 其中S_w^2=\frac{1}{m+n-2}[(m-1)S_1^2+(n-1)S_2^2] \end{gathered}$$
设$X_1,...,X_{m}i.i.d.\sim N(a_1,{\sigma }_1^2),Y_1,...,Y_{n}i.i.d.\sim N(a_2,{\sigma }_2^2)$且相互独立，则
$$\begin{gathered} \frac{(m-1)S_1^2}{{\sigma }_1^2}\sim {\chi }_{m-1}^2,\frac{(n-1)S_2^2}{{\sigma }_2^2}\sim {\chi }_{n-1}^2 \\ \Rightarrow F=\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}\sim F(m-1,n-1), \\ 其中S_w^2=\frac{1}{m+n-2}[(m-1)S_1^2+(n-1)S_2^2] \end{gathered}$$
设$X_1,...,X_{n}i.i.d.\sim E(\lambda )\sim \Gamma (1,\lambda )$，则
$$2\lambda n\bar{X}=2\lambda \sum _{i=1}^n{X}_i\sim \Gamma (n,\frac{1}{2})\sim {\chi }_{2n}^2$$

2.6 指数族 exponential family

略

2.7 充分统计量 sufficient statistic

令$T=T(X)$为一统计量，若在已知$T$的条件下，样本$X$的条件分布于参数$\theta$无关，则称$T(X)$为$\theta$的充分统计量。

因子分解定理——充分性的判别准则

2.8 完全统计量 complete statistic

略

Estimation

参数估计 Parameter Estimation

参数估计是统计推断的一种重要形式。参数估计问题常有两类：点估计和区间估计。点估计就是用样本函数的一个具体数值$\hat{g}(\mathbf{X})$去估计一个未知参数$g(\theta )$。区间估计就是用样本函数的两个值构成的区间$[\widehat{g_1}(\mathbf{X}),\widehat{g_2}(\mathbf{X})]$去估计未知参数的取值范围。大多数情况下，$g(\theta )=\theta$.

chpater 3 点估计 Point Estimation

设$X_1,...,X_n$是从总体$F$中抽取的简单随机样本。

一、评价估计量好坏的标准

无偏性 unbiased estimation

有效性 efficiency

相合性 consistent estimation

均方误差 mean square error

有效无偏估计

图片

二、矩法 Method of Moments

1. 原理

参数$\theta$可以表示为总体分布的某些矩的函数$\theta =({\alpha }_1,{\alpha }_2,...{\alpha }_k;{\mu }_2,...,{\mu }_s)$，用样本矩替代总体矩，得到$\hat{\theta }=h(a_{n1},a_{n2},...,a_{nk};m_{n2},...,m_{ns})$。注意，$a_{nk}$是$a_k$的无偏估计，而$m_{nk}$不是${\mu }_k$的无偏估计。

样本$k$阶原点矩
$$a_{nk}=\frac{1}{n}\sum _{i=1}^n{X}_i^k,k=1,2,3,...$$
总体$k$阶原点矩
$${\alpha }_k=E(X^k)$$
样本$k$阶中心矩
$$m_{nk}=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^k,k=2,3,...$$
总体k阶中心矩
$${\mu }_k=E[X-EX{]}^k$$
常用地，

• $EX$可以用$\bar{X}$来估计，
• $E(X^2)$可以用$\frac{1}{n}{\sum }_{i=1}^n{X}_i^2$来估计，
• $DX=E[X-EX{]}^2$可以用$S_n^2=\frac{1}{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2$来估计。

2. 步骤

典型地，通过以下一个或多个式子建立方程。注意“几个方程解几个未知数”。
$$\begin{gathered} EX=\bar{X}, \\ E(X^2)=\frac{1}{n}\sum _{i=1}^n{X}_i^2, \\ DX=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2 \end{gathered}$$

3. 其他

• 矩估计不唯一。
• 不是所有的矩估计都有解析表达式。

三、最大似然估计 maximum likelihood estimation, MLE

1. 步骤

1. 写出似然函数（likelihood function）（pdf、pmf）
   $$\begin{gathered} L(\theta ;X_1,...,X_n)=p(X_1,...,X_n;\theta ) \\ l(\theta ;X_1,...,X_n)=\ln L(\theta ;X_1,...,X_n) \end{gathered}$$

2. 求$\hat{\theta }$，使得$L(\hat{\theta })={\sup }_{\theta \in \Theta }L(\theta )$

   • 微分：$\frac{\partial }{\partial \theta }L(\theta )=0$或$\frac{\partial }{\partial \theta }l(\theta )=0$
   • 从定义出发，当似然函数对$\theta$不可微甚至不连续的情况下

2. 性质

• 不变原则：设${\hat{\theta }}_{MLE}$是$\theta$的MLE，则对任意可测函数$g(\theta )$，$g({\hat{\theta }}_{MLE})$是$g(\theta )$的MLE

• MLE不一定是无偏的，MLE可以表示为充分统计量T的函数

• 渐进正态性

四、一致最小方差无偏估计 uniformly minimum variance unbiased estimation, UMVUE

均方误差（mean square error, MSE）：$MSE(\hat{g})=E_{\theta }[\hat{g}(\mathbf{X})-g(\theta ){]}^2$

可估参数（estimable estimator）：有无偏估计的参数

一致最小方差无偏估计（uniformly minimum variance unbiased estimation, UMVUE）：在可估参数的无偏估计类中找一个方差最小的估计量

• ${\hat{g}}^{\ast }(\mathbf{X})$是$g(\theta )$的无偏估计
• 对$g(\theta )$的任一无偏估计$\hat{g}(\mathbf{X})$，$D_{\theta }({\hat{g}}^{\ast }(\mathbf{X}))\le D_{\theta }(\hat{g}(\mathbf{X}))$

证明，C-R不等式

chapter 4 区间估计 Interval Estimation

一、评价标准

置信度/置信水平（confidence level）：区间$[{\hat{\theta }}_1,{\hat{\theta }}_2]$包含$\theta$的概率$P_{\theta }({\hat{\theta }}_1\le \theta \le {\hat{\theta }}_2)$，希望其越大越好

置信系数（confidence coefficient）：${\inf }_{\theta \in \Theta }{P}_{\theta }({\hat{\theta }}_1\le \theta \le {\hat{\theta }}_2)$

精确度：随机区间$[{\hat{\theta }}_1,{\hat{\theta }}_2]$的平均长度$E_{\theta }[{\hat{\theta }}_2-{\hat{\theta }}_1]$，希望其越小越好

置信度与精确度互相制约着，在保证置信系数达到指定要求的前提下，经可能提高精度。

二、置信区间定义

置信水平为$1-\alpha$的双侧置信区间$[{\hat{\theta }}_1,{\hat{\theta }}_2]$：$P_{\theta }({\hat{\theta }}_1\le \theta \le {\hat{\theta }}_2)\ge 1-\alpha$

置信水平为$1-\alpha$的单侧置信上限（upper confidence limit）${\hat{\theta }}_U$：$P_{\theta }(\theta \le {\hat{\theta }}_U)\ge 1-\alpha$

置信水平为$1-\alpha$的单侧置信下限（lower confidence limit）${\hat{\theta }}_L$：$P_{\theta }({\hat{\theta }}_L\le \theta )\ge 1-\alpha$

置信水平为$1-\alpha$的同等双侧置信区间$[{\hat{\theta }}_1,{\hat{\theta }}_2]$：${\inf }_{\theta \in \Theta }{P}_{\theta }({\hat{\theta }}_1\le \theta \le {\hat{\theta }}_2)=1-\alpha$

置信水平为$1-\alpha$的同等单侧置信上限（upper confidence limit）${\hat{\theta }}_U$：${\inf }_{\theta \in \Theta }{P}_{\theta }(\theta \le {\hat{\theta }}_U)=1-\alpha$

置信水平为$1-\alpha$的同等单侧置信下限（lower confidence limit）${\hat{\theta }}_L$：${\inf }_{\theta \in \Theta }{P}_{\theta }({\hat{\theta }}_L\le \theta )=1-\alpha$

双侧、单侧、同等、最优 置信度达到了，让精度最优，区间平均长度最小

等尾 默认

三、枢轴量法

1. 步骤

1. 构造一个样本$\mathbf{X}$和待估参数$\theta$的函数$G(\mathbf{X},\theta )$，满足G的分布不依赖于任何未知参数，称G为枢轴量。通常是点估计、充分统计量的函数。

2. 确定常数c、d 使得 P θ { c ≤ G ( X , θ ) ≤ d } = 1 − α P_\theta\{c\leq G(\boldsymbol{X},\theta)\leq d\}=1-\alpha Pθ​{c≤G(X,θ)≤d}=1−α

3. $c\le G(\mathbf{X},\theta )\le d\Rightarrow \widehat{{\theta }_L}(\mathbf{X})\le \theta \le \widehat{{\theta }_U}(\mathbf{X})$

2. 常见的枢轴量

$$\begin{array}{llc}& P(-u_{\frac{\alpha }{2}}\le U\le u_{\frac{\alpha }{2}})=1-\alpha & U\sim N(0,1)\\ & P(-t_n(\frac{\alpha }{2})\le T\le t_n(\frac{\alpha }{2}))=1-\alpha & T\sim t(n)\\ & P({\chi }_n^2(1-\frac{\alpha }{2})\le X\le {\chi }_n^2(\frac{\alpha }{2}))=1-\alpha & X\sim {\chi }^2(n)\\ & P(F_{m,n}(1-\frac{\alpha }{2})=\frac{1}{F_{n,m}(\frac{\alpha }{2})}\le F\le F_{m,n}(\frac{\alpha }{2}))=1-\alpha & F\sim F_{m,n}\end{array}$$

正态总体参数的置信区间

单个正态总体

$X\sim N(\mu ,{\sigma }^2)，X_1,...,X_{n}i.i.d.\sim N(\mu ,{\sigma }^2)$

• 求$\mu$的置信系数为$1-\alpha$的置信区间

  • ${\sigma }^2$已知,
    $$[\bar{X}-\frac{\sigma }{\sqrt{n}}{u}_{\frac{\alpha }{2}},\bar{X}+\frac{\sigma }{\sqrt{n}}{u}_{\frac{\alpha }{2}}]U=\frac{\sqrt{n}(\bar{X}-\mu )}{\sigma }\sim N(0,1)$$

  • ${\sigma }^2$未知

  $$[\bar{X}-\frac{\sigma }{\sqrt{n}}{t}_{n-1}(\frac{\alpha }{2}),\bar{X}+\frac{\sigma }{\sqrt{n}}{t}_{n-1}(\frac{\alpha }{2})]T=\frac{\sqrt{n}(\bar{X}-\mu )}{S}\sim t(n-1)$$

• 求${\sigma }^2$的置信系数为$1-\alpha$的置信区间

  • $\mu$已知
    $$[\frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\chi }_n^2(\frac{\alpha }{2})},\frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\chi }_n^2(1-\frac{\alpha }{2})}]T=\frac{n\times \frac{1}{n}{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\sigma }^2}\sim {\chi }_n^2$$

  • $\mu$未知
    $$[\frac{(n-1)S^2}{{\chi }_{n-1}^2(\frac{\alpha }{2})},\frac{(n-1)S^2}{{\chi }_{n-1}^2(1-\frac{\alpha }{2})}]T=\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }_{n-1}^2$$

• 求$\sigma$的置信系数为$1-\alpha$的置信区间

  上述区间端点开平方得

两个正态总体

$X_1,...,X_{m}i.i.d.\sim N({\mu }_1,{\sigma }_1^2),Y_1,...,Y_{n}i.i.d.\sim N({\mu }_2,{\sigma }_2^2)$且相互独立

$$\begin{gathered} \bar{X}\sim N({\mu }_1,\frac{{\sigma }_1^2}{m}) \\ \bar{Y}\sim N({\mu }_2,\frac{{\sigma }_2^2}{n}) \\ \bar{Y}-\bar{X}\sim N({\mu }_2-{\mu }_1,\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}) \end{gathered}$$

• 求均值差${\mu }_2-{\mu }_1$的置信系数为$1-\alpha$置信区间

  • $m=n$时，$Y_i-X_i\sim N({\mu }_2-{\mu }_1,{\sigma }_1^2+{\sigma }_2^2)$，可以转换为单个正态总体的情况。

  • ${\sigma }_1^2$和${\sigma }_2^2$已知
    $$\bar{Y}-\bar{X}+\sqrt{\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}}{u}_{\frac{\alpha }{2}}]U=\frac{\bar{Y}-\bar{X}-({\mu }_2-{\mu }_1)}{\sqrt{\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}}}\sim N(0,1)$$

  • ${\sigma }_1^2$和${\sigma }_2^2$未知，但${\sigma }_1^2={\sigma }_2^2={\sigma }^2$
    $$\begin{gathered} [\bar{Y}-\bar{X}-S_w\sqrt{\frac{1}{m}+\frac{1}{n}}{t}_{m+n-2}(\frac{\alpha }{2}),\bar{Y}-\bar{X}+S_w\sqrt{\frac{1}{m}+\frac{1}{n}}{t}_{m+n-2}(\frac{\alpha }{2})] \\ {T}_w=\frac{(\bar{Y}-\bar{X}-({\mu }_2-{\mu }_1))}{\sqrt{\frac{1}{m}+\frac{1}{n}}{S}_w}\sim t(m+n-2) \\ {S}_w^2=\frac{1}{m+n-2}[(m-1)S_1^2+(n-1)S_2^2]=\frac{1}{m+n-2}[\sum _{i=1}^m(X_i-\bar{X}{)}^2+\sum _{i=1}^n(Y_i-\bar{Y}{)}^2] \end{gathered}$$

• 求方差比${\sigma }_1^2/{\sigma }_2^2$的置信系数为$1-\alpha$的置信区间

  • ${\mu }_1$和${\mu }_2$已知
    $$[\frac{\frac{1}{m}{\sum }_{i=1}^m(X_i-{\mu }_1{)}^2}{\frac{1}{n}{\sum }_{i=1}^n(Y_i-{\mu }_2{)}^2}{F}_{n,m}(1-\frac{\alpha }{2}),\frac{\frac{1}{m}{\sum }_{i=1}^m(X_i-{\mu }_1{)}^2}{\frac{1}{n}{\sum }_{i=1}^n(Y_i-{\mu }_2{)}^2}{F}_{n,m}(\frac{\alpha }{2})]F=\frac{[\frac{1}{m}{\sum }_{i=1}^m(X_i-{\mu }_1{)}^2]/{\sigma }_1^2}{[\frac{1}{n}{\sum }_{i=1}^n(Y_i-{\mu }_2{)}^2]/{\sigma }_2^2}\sim F(m,n)$$

  • ${\mu }_1$和${\mu }_2$未知
    $$[\frac{S_1^2}{S_2^2}{F}_{n-1,m-1}(1-\frac{\alpha }{2}),\frac{S_1^2}{S_2^2}{F}_{n-1,m-1}(\frac{\alpha }{2})]F=\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}\sim F(m-1,n-1)$$

非正态总体参数的置信区间

指数分布

$X_1,...,X_{n}i.i.d.\sim E(\lambda )$

• $\lambda$的置信系数为$1-\alpha$的置信区间
  $$[\frac{{\chi }_{2n}^2(1-\frac{\alpha }{2})}{2n\bar{X}},\frac{{\chi }_{2n}^2(\frac{\alpha }{2})}{2n\bar{X}}]2\lambda n\bar{X}=2\lambda \sum _{i=1}^n{X}_i\sim \Gamma (n,\frac{1}{2})\sim {\chi }_{2n}^2$$

均匀分布

$X_1,...,X_{n}i.i.d.\sim U(0,\theta )$

• $\theta$的置信系数为$1-\alpha$的置信区间
  $$[X_{(n)},\frac{X_{(n)}}{\sqrt[n]{\alpha }}]$$

四、Bayes可信区间

$$P(\widehat{{\theta }_L}\le \theta \le \widehat{{\theta }_U}|\mathbf{X})\ge 1-\alpha$$

Hypothesis Testing

chapter 5 参数假设检验

一、几个概念

假设检验的问题 $H_0:\theta \in {\Theta }_0\leftrightarrow H_1:\theta \in {\Theta }_1=\Theta -{\Theta }_0$

• 零假设/原假设/假设（null hypothesis）$H_0$

• 对立假设/备选假设（alternative hypothesis）$H_1$

检验
$$T:\{\begin{array}{llc}& 当｜\bar{X}-a_0｜>A时,& 拒绝H_0\\ & 当｜\bar{X}-a_0｜\le A时,& 接受H_0\end{array}$$
否定域/拒绝域（rejection region） D = { X : ∣ X ˉ − a 0 ∣ > A } D=\{\boldsymbol{X}:|\bar{X}-a_0|>A\} D={X:∣Xˉ−a0​∣>A}

检验函数
$$\phi (x)=\{\begin{array}{llc}& 1,& 当｜\bar{X}-a_0｜>A\\ & 0,& 当｜\bar{X}-a_0｜\le A\end{array}$$
两类错误

• 第一类错误（type I error）/弃真：$H_0$为真，但是按照检验法则否定了$H_0$

  发生第一类错误的概率$P(拒绝H_0｜H_0为真)$

• 第二类错误（type II error）/取伪：$H_0$不为真，但是按照检验法则接受了$H_0$

  发生第二类错误的概率$P(接受H_0｜H_0不为真)$

势函数 power function
β φ ( θ ) = P θ { 用 检 验 φ 拒 绝 原 假 设 } = P ( X ∈ D ∣ θ ) = P ( φ ( X ) = 1 ∣ θ ) = E θ [ φ ( X ) ] \beta_\varphi(\theta)=P_\theta\{用检验\varphi拒绝原假设\}=P(\boldsymbol{X}\in D|\theta)=P(\varphi(\boldsymbol{X})=1|\theta)=E_\theta[\varphi(\boldsymbol{X})] βφ​(θ)=Pθ​{用检验φ拒绝原假设}=P(X∈D∣θ)=P(φ(X)=1∣θ)=Eθ​[φ(X)]
Neyman-Person/NP原则：限制犯第一类错误概率的原则，即在保证犯第一类错误的概率不超过指定数值$\alpha$的检验中，寻找犯第二类错误概率仅可能小的检验

检验水平/显著性水平为$\alpha$检验（level/size）：犯第一类错误的概率不超过$\alpha$
$$\alpha =\underset{\theta \in {\Theta }_0}{\sup }{\beta }_{\phi }(\theta )=\sup P(\mathbf{X}\in D|\theta \in {\Theta }_0)$$
p值

• 原假设为$H_0:\theta ={\theta }_0$，其否定域为$|T|>c$，样本算出的检验统计量$T$的值为$t_0$
  $$p=P(|T|>|t_0||H_0为真)$$

• 原假设为$H_0:\theta \le {\theta }_0$，其否定域为$T>c$，样本算出的检验统计量$T$的值为$t_0$
  $$p=P(T>t_0|H_0为真)$$

• 原假设为$H_0:\theta \ge {\theta }_0$，其否定域为$T<c$，样本算出的检验统计量$T$的值为$t_0$
  $$p=P(T<t_0|H_0为真)$$

• 若p值较大，说明在$H_0$为真时，有$t_0$那么大的偏差的概率较大（很正常）。因此，p越大，认为接受$H_0$的依据越充分；p值越小，认为拒绝$H_0$的依据越充分。

二、步骤（2种）

1. 正常方法

   $H_0:\theta ={\theta }_0$显著性水平为$\alpha$的接受域$\iff$水平为$1-\alpha$的置信区间

2. p值

三、正态总体参数的假设检验

单个正态总体均值的假设检验

• ${\sigma }^2$已知

  • 检验统计量及其分布
    $$\begin{gathered} U=\frac{\sqrt{n}(\bar{X}-{\mu }_0)}{\sigma } \\ U{|}_{\mu ={\mu }_0}\sim N(0,1) \end{gathered}$$

  • $H_0:\mu ={\mu }_0\leftrightarrow H_1:\mu \ne {\mu }_0$，否定域 D = { ∣ U ∣ > u α 2 } D=\{|U|>u_\frac{\alpha}{2}\} D={∣U∣>u2α​​}

  • $H_0:\mu \le {\mu }_0\leftrightarrow H_1:\mu >{\mu }_0$，否定域 D = { U > u α } D=\{U>u_{\alpha}\} D={U>uα​}

  • $H_0:\mu \ge {\mu }_0\leftrightarrow H_1:\mu <{\mu }_0$，否定域 D = { U < u α } D=\{U<u_{\alpha}\} D={U<uα​}

• ${\sigma }^2$未知

  • 检验统计量及其分布
    $$\begin{gathered} T=\frac{\sqrt{n}(\bar{X}-{\mu }_0)}{S} \\ T{|}_{\mu ={\mu }_0}\sim t(n-1) \end{gathered}$$

  • $H_0:\mu ={\mu }_0\leftrightarrow H_1:\mu \ne {\mu }_0$，否定域 D = { ∣ T ∣ > t n − 1 ( α 2 ) } D=\{|T|>t_{n-1}(\frac{\alpha}{2})\} D={∣T∣>tn−1​(2α​)}

  • $H_0:\mu \le {\mu }_0\leftrightarrow H_1:\mu >{\mu }_0$，否定域 D = { T > t n − 1 ( α ) } D=\{T>t_{n-1}(\alpha)\} D={T>tn−1​(α)}

  • $H_0:\mu \ge {\mu }_0\leftrightarrow H_1:\mu <{\mu }_0$，否定域 D = { T < t n − 1 ( α ) } D=\{T<t_{n-1}(\alpha)\} D={T<tn−1​(α)}

单个正态总体方差的检验

• $\mu$已知

  • 检验统计量及其分布
    $$\begin{gathered} {\chi }_{\mu }^2=\frac{n{S}_{\mu }^2}{{\sigma }_0^2} \\ {\chi }_{\mu }^2{|}_{\sigma ={\sigma }_0}\sim {\chi }^2(n) \end{gathered}$$

  • $H_0:{\sigma }^2={\sigma }_0^2\leftrightarrow H_1:{\sigma }^2\ne {\sigma }_0^2$，否定域 D = { n S μ 2 σ 0 2 < χ n 2 ( 1 − α 2 ) } ∪ { n S μ 2 σ 0 2 > χ n 2 ( α 2 ) } D=\{\frac{nS_\mu^2}{\sigma_0^2}<\chi_n^2(1-\frac{\alpha}{2})\}\cup\{\frac{nS_\mu^2}{\sigma_0^2}>\chi_n^2(\frac{\alpha}{2})\} D={σ02​nSμ2​​<χn2​(1−2α​)}∪{σ02​nSμ2​​>χn2​(2α​)}

  • $H_0:{\sigma }^2\le {\sigma }_0^2\leftrightarrow H_1:{\sigma }^2>{\sigma }_0^2$，否定域 D = { n S μ 2 σ 0 2 > χ n 2 ( α ) } D=\{\frac{nS_\mu^2}{\sigma_0^2}>\chi_n^2(\alpha)\} D={σ02​nSμ2​​>χn2​(α)}

  • $H_0:{\sigma }^2\ge {\sigma }_0^2\leftrightarrow H_1:{\sigma }^2<{\sigma }_0^2$，否定域 D = { n S μ 2 σ 0 2 < χ n 2 ( 1 − α ) } D=\{\frac{nS_\mu^2}{\sigma_0^2}<\chi_n^2(1-\alpha)\} D={σ02​nSμ2​​<χn2​(1−α)}

• $\mu$未知

  • 检验统计量及其分布
    $$\begin{gathered} {\chi }^2=\frac{(n-1)S^2}{{\sigma }_0^2} \\ {\chi }^2{|}_{\sigma ={\sigma }_0}\sim {\chi }^2(n-1) \end{gathered}$$

  • $H_0:{\sigma }^2={\sigma }_0^2\leftrightarrow H_1:{\sigma }^2\ne {\sigma }_0^2$，否定域 D = { ( n − 1 ) S 2 σ 0 2 < χ n 2 ( 1 − α 2 ) } ∪ { ( n − 1 ) S 2 σ 0 2 > χ n 2 ( α 2 ) } D=\{\frac{(n-1)S^2}{\sigma_0^2}<\chi_n^2(1-\frac{\alpha}{2})\}\cup\{\frac{(n-1)S^2}{\sigma_0^2}>\chi_n^2(\frac{\alpha}{2})\} D={σ02​(n−1)S2​<χn2​(1−2α​)}∪{σ02​(n−1)S2​>χn2​(2α​)}

  • $H_0:{\sigma }^2\le {\sigma }_0^2\leftrightarrow H_1:{\sigma }^2>{\sigma }_0^2$，否定域 D = { ( n − 1 ) S 2 σ 0 2 > χ n 2 ( α ) } D=\{\frac{(n-1)S^2}{\sigma_0^2}>\chi_n^2(\alpha)\} D={σ02​(n−1)S2​>χn2​(α)}

  • $H_0:{\sigma }^2\ge {\sigma }_0^2\leftrightarrow H_1:{\sigma }^2<{\sigma }_0^2$，否定域 D = { ( n − 1 ) S 2 σ 0 2 < χ n 2 ( 1 − α ) } D=\{\frac{(n-1)S^2}{\sigma_0^2}<\chi_n^2(1-\alpha)\} D={σ02​(n−1)S2​<χn2​(1−α)}

两个正态总体均值差的假设检验

p182

两个正态总体方差比的假设检验

p187-表5.2.4

四、单参数指数型分布总体参数的假设检验

二项分布

Poisson分布

指数分布

五、似然比检验 likelihood ratio test

似然比
$$\lambda (\mathbf{x})=\frac{{\sup }_{\theta \in \Theta }f(\mathbf{x},\theta )}{{\sup }_{\theta \in {\Theta }_0}f(\mathbf{x},\theta )}$$
解释：设
$$\begin{gathered} L_{{\Theta }_0}(\mathbf{x})=\underset{\theta \in {\Theta }_0}{\sup }f(\mathbf{x},\theta ) \\ {L}_{{\Theta }_1}(\mathbf{x})=\underset{\theta \in {\Theta }_1}{\sup }f(\mathbf{x},\theta ) \end{gathered}$$
考虑比值$L_{{\Theta }_1}(\mathbf{x})/L_{{\Theta }_0}(\mathbf{x})$，若此比值比较大，说明真参数在${\Theta }_1$内的“似然性”较大，因而倾向于否定原假设。

步骤

D = { λ ( x ) > c ′ } = { x : ∣ T ∣ > c } 令 P ( ∣ T ∣ > c ∣ H 0 ) = α D=\{\lambda(\boldsymbol{x})>c'\}=\{\boldsymbol{x}:|T|>c\} \\ 令P(|T|>c|H_0)=\alpha D={λ(x)>c′}={x:∣T∣>c}令P(∣T∣>c∣H0​)=α

chapter 6 非参数假设检验

拟合优度检验 goodness-of-fit test

检验问题：$H_0:r.v.X的分布为F$

设法提出一个反映实际数据$X_1,...,X_n$与理论分布$F$偏差的量$D=D(X_1,...,X_n;F)$

拟合优度（goodness of fit）：$p(d_0)=P(D\ge d_0|H_0)$，$p(d_0)$越接近1，说明样本和理论分布拟合的越好。

拟合优度检验（goodness of fit test）：当$p(d_0)<\alpha$时否定$H_0$，否则接受$H_0$

由于D可以有不同的定义，拟合优度检验也有多种。其中，${\chi }^2$检验是著名的拟合优度检验之一

${\chi }^2$检验 ${\chi }^2$ test

理论分布已知且为离散型，且取值情形有限

设$X_1,...,X_n$是从总体$X\sim P(X=a_i)=p_i,i=1,..,r$抽取的检验样本

检验问题：
$$H_0:P(X=a_i)=p_i,i=1,...,r$$
观察频数${\nu }_i$：$X_1,...,X_n$中等于$a_i$的个数

理论频数$n{p}_i$

于是，${\sum }_{i=1}^r{c}_i(\frac{{\nu }_i}{n}-p_i{)}^2$可以作为样本与理论分布偏差的一种度量。

1. （K. Pearson 证明了）在$H_0$成立的前提下，

   $$K_n=\sum _{i=1}^r\frac{({\nu }_i-n{p}_i{)}^2}{n{p}_i}$$
   的极限分布为（当$n\to \infty$时）为${\chi }_{r-1}^2$

2. 水平近似于$\alpha$的检验：当$K_n>{\chi }_{r-1}^2(\alpha )$时否定$H_0$（因为偏差的度量大），否则接受$H_0$

3. 拟合优度（goodness of fit）：设$k_0$为按照样本算出$K_n$的具体值，$p(k_0)=P(K_n\ge k_0|H_0)\approx P({\chi }_{r-1}^2\ge k_0)$，$p(k_0)$较大，认为拟合较好；$p(k_0)$较小，认为拟合的不好（p值的想法）

理论分布为离散型且取值情形可列个，或理论分布为连续型

1. 分组，将实数轴划分成$r$个子区间；每组的频数不小于5，否则合并相邻区间，但若数据是分类的值，不要合并，比如掷骰子
2. 剩余步骤同上

理论分布带有未知参数情形

设$s$为未知参数的个数，$r$问情况数

1. 用MLE估计未知参数

2. （R.A. Fisher 证明了）在$H_0$成立的前提下，
   $$K_n^{\ast }=\sum _{i=1}^r\frac{({\nu }_i-n{\hat{p}}_i{)}^2}{n{\hat{p}}_i}$$
   的极限分布为（当$n\to \infty$时）为${\chi }_{r-1-s}^2$

3. 水平近似于$\alpha$的检验：当$K_n^{\ast }>{\chi }_{r-1-s}^2(\alpha )$时否定$H_0$（因为偏差的度量大），否则接受$H_0$

4. 拟合优度（goodness of fit）：设$k_0^{\ast }$为按照样本算出$K_n^{\ast }$的具体值，$p(k_0^{\ast })=P(K_n^{\ast }\ge k_0^{\ast }|H_0)\approx P({\chi }_{r-1-s}^2\ge k_0^{\ast })$，$p(k_0^{\ast })$较大，认为拟合较好；$p(k_0^{\ast })$较小，认为拟合的不好

列联表检验 contingency table

列联表检验是${\chi }^2$检验的一个特例

独立性检验 independency

设总体中每一个体按A、B两种属性分类，属性A、B分别有r和s个水平。引进随机向量$\mathbf{X}=(X^{(1)},X^{(2)})$，$X^{(1)}$和$X^{(2)}$分别即同一个个体上的A、B指标的水平。

$r\times s$列联表：$n_{ij}$为指标A为i、指标B为j的个体数量

检验问题：$H_0:X^{(1)}和X^{(2)}独立$

齐一性检验 homogeneity

设有r个总体$X^{(1)},...X^{(r)}$，它们可能的取值相同，为$a_1,...,a_s$

$r\times s$列联表：$n_{ij}$为第i个总体取值为$a_j$的个体数量

检验问题：r个总体分布相同，$H_0:p_1(j)=p_2(j)=...=p_r(j),j=1,...,s$

步骤

1. 用MLE估计未知参数${\hat{p}}_{i\cdot }^{\ast }=\frac{n_{i\cdot }}{n},{\hat{p}}_{\cdot j}^{\ast }=\frac{n_{\cdot j}}{n}$（独立性检验中的式子）

2. 在$H_0$成立的前提下，（独立性检验和齐次性检验的式子一致）

   $$K_n^{\ast }=\sum _{i=1}^r\sum _{j=1}^s\frac{(n_{ij}-n{\hat{p}}_{i\cdot }^{\ast }{\hat{p}}_{\cdot j}^{\ast }{)}^2}{n{\hat{p}}_{i\cdot }^{\ast }{\hat{p}}_{\cdot j}^{\ast }}=n(\sum _{i=1}^r\sum _{j=1}^s\frac{n_{ij}^2}{n_{i\cdot }{n}_{\cdot j}}-1)$$

   的极限分布为（当$n\to \infty$时）为${\chi }_{(r-1)(s-1)}^2$

   特别地，$r=s=2$时，$K_n^{\ast }=\frac{n(n_{11}{n}_{22}-n_{12}{n}_{21}{)}^2}{n_{1\cdot }{n}_{2\cdot }{n}_{\cdot 1}{n}_{\cdot 2}}$

3. 水平近似于$\alpha$的检验：当$K_n^{\ast }>{\chi }_{(r-1)(s-1)}^2(\alpha )$时否定$H_0$（因为偏差的度量大），否则接受$H_0$

4. 拟合优度（goodness of fit）：设$k_0^{\ast }$为按照样本算出$K_n^{\ast }$的具体值，$p(k_0^{\ast })=P(K_n^{\ast }\ge k_0^{\ast }|H_0)\approx P({\chi }_{(r-1)(s-1)}^2\ge k_0^{\ast })$，$p(k_0^{\ast })$较大，认为拟合较好；$p(k_0^{\ast })$较小，认为拟合的不好

一、符号检验 sign test

符号检验是二项分布参数检验的一个特例

二、符号秩和检验 sign and rank tests

Wilcoxon秩和检验

三、成对数据的检验

chapter 7 Bayes方法和统计决策

后验分布 posterior distribution
$$\pi (\theta |\mathbf{x})=\frac{p(\mathbf{x},\theta )}{p(\mathbf{x})}=\frac{p(\mathbf{x},\theta )}{{\int }_{\Theta }p(\mathbf{x},\theta )\pi (\theta )d\theta }$$

Bayes点估计

$${\hat{\theta }}_B={\int }_{\Theta }\pi (\theta |\mathbf{x})d\theta$$

分母是C

Bayes可信区间

$$\begin{gathered} P({\hat{\theta }}_L\le \theta \le {\hat{\theta }}_U|\mathbf{x})\ge 1-\alpha \\ {\int }_{{\hat{\theta }}_L}^{{\hat{\theta }}_U}\pi (\theta |\mathbf{x})d\theta \ge 1-\alpha \end{gathered}$$

也会求单侧

参考文献

数理统计（第二版）韦来生编著 科学出版社