(一)次序统计量与经验分布
1.次序统计量
假定 X 1 , X 2 , . . . , X n X_1,X_2,...,X_n X1,X2,...,Xn为取自总体 X X X的样本, x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1,x2,...,xn为该样本的任意一个实现。将样本实现 x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1,x2,...,xn以从小到大顺序进行排序,其排序结果记为 x ( 1 ) , x ( 2 ) , . . . , x ( n ) x_{(1)},x_{(2)},...,x_{(n)} x(1),x(2),...,x(n),令 X ( i ) X_{(i)} X(i)取值 x ( i ) ( i = 1 , 2 , . . . , n ) x_{(i)}(i=1,2,...,n) x(i)(i=1,2,...,n)。 X ( 1 ) , X ( 2 ) , . . . , X ( n ) X_{(1)},X_{(2)},...,X_{(n)} X(1),X(2),...,X(n)或其一部分被称之为次序统计量。例如: X ( 1 ) X_{(1)} X(1)被称之为最小次序统计量, X ( k ) X_{(k)} X(k)被称之为第 k k k次序统计量, X ( n ) X_{(n)} X(n)被称之为最大次序统计量。
2.经验分布函数
假设
x
1
,
x
2
,
.
.
.
,
x
n
x_1,x_2,...,x_n
x1,x2,...,xn为来自总体
X
X
X的样本
X
1
,
X
2
,
.
.
.
,
X
n
X_1,X_2,...,X_n
X1,X2,...,Xn的一个实现,
x
(
1
)
,
x
(
2
)
,
.
.
.
,
x
(
n
)
x_{(1)},x_{(2)},...,x_{(n)}
x(1),x(2),...,x(n)为次序统计量
X
(
1
)
,
X
(
2
)
,
.
.
.
,
X
(
n
)
X_{(1)},X_{(2)},...,X_{(n)}
X(1),X(2),...,X(n)的实现。对于任意实数
x
x
x,令
F
n
(
x
)
=
{
0
,
x
<
x
1
k
n
,
x
(
k
)
≤
x
<
x
(
k
+
1
)
1
,
x
≥
x
(
n
)
F_n(x)= \begin {cases} 0, & x<x_{1} \\ \\ \frac{k}{n},&x_{(k)} \le x < x_{(k+1)}\\ \\ 1,&x\ge x_{(n)} \end{cases}
Fn(x)=⎩⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎧0,nk,1,x<x1x(k)≤x<x(k+1)x≥x(n)
其中,
k
k
k为正整数,且
1
≤
k
≤
n
1\le k \le n
1≤k≤n。
F n ( x ) F_n(x) Fn(x)被称之为总体 X X X的经验分布函数。经验分布函数具有分布函数的基本性质,聚集了样本 X 1 , X 2 , . . . , X n X_1,X_2,...,X_n X1,X2,...,Xn中有关总体分布函数的信息。样本实现不同,所确定的经验分布函数存在差异,因此,经验分布函数是一个统计量。
(二)三大分布
(1) χ 2 \chi^2 χ2分布
已知随机变量 X 1 , X 2 , . . . , X n X_1,X_2,...,X_n X1,X2,...,Xn相互独立,且 X i ∼ N ( 0 , 1 ) , i = 1 , 2 , . . . , n X_i \sim N(0,1),i=1,2,...,n Xi∼N(0,1),i=1,2,...,n。令 X = ∑ i = 1 n X i 2 X=\sum_{i=1}^n X_i^2 X=i=1∑nXi2则 X X X的概率分布被称之为自由度为 n n n的 χ 2 \chi^2 χ2分布,自由度是指求和式中相互独立的项数。若 X X X服从自由度为 n n n的 χ 2 \chi^2 χ2分布,一般简记为 X ∼ χ 2 ( n ) X \sim \chi ^2(n) X∼χ2(n)。可以证明自由度为n的 分布的概率密度函数为 f X ( x ) = { 1 2 n 2 Γ ( n 2 ) x n 2 − 1 e x p { − x 2 } , x > 0 0 , x ≤ 0 f_X(x) = \begin{cases} \frac{1}{2^{\frac{n}{2}}\Gamma(\frac{n}{2})}x^{\frac{n}{2}-1}exp\{-\frac{x}{2}\},&x>0\\ \\ 0,&x\le 0 \end{cases} fX(x)=⎩⎪⎪⎨⎪⎪⎧22nΓ(2n)1x2n−1exp{−2x},0,x>0x≤0
χ
2
\chi^2
χ2分布的性质:
1.若
X
∼
χ
2
(
n
)
X \sim \chi ^2(n)
X∼χ2(n),则
E
(
X
)
=
n
,
V
a
r
(
X
)
=
2
n
。
E(X) = n,Var(X)=2n。
E(X)=n,Var(X)=2n。
2.若 X 1 ∼ χ 2 ( n 1 ) , X 2 ∼ χ 2 ( n 2 ) X_1 \sim \chi ^2(n_1),X_2 \sim \chi ^2(n_2) X1∼χ2(n1),X2∼χ2(n2), X 1 X_1 X1与 X 2 X_2 X2相互独立,则 X 1 + X 2 ∼ χ 2 ( n 1 + n 2 ) X_1+X_2 \sim \chi ^2(n_1+n_2) X1+X2∼χ2(n1+n2)。
3.若 X 3 = X 1 + X 2 , X 1 ∼ χ 2 ( n 1 ) , X 3 ∼ χ 2 ( n 3 ) , n 3 > n 1 X_3 = X_1 + X_2,X_1 \sim \chi ^2(n_1),X_3 \sim \chi ^2(n_3),n_3>n_1 X3=X1+X2,X1∼χ2(n1),X3∼χ2(n3),n3>n1,且 X 1 X_1 X1与 X 2 X_2 X2相互独立,则 2 ∼ χ 2 ( n 3 , n 1 ) _2 \sim \chi ^2(n_3,n_1) 2∼χ2(n3,n1)
4.若 X ∼ χ 2 ( n ) X \sim \chi ^2(n) X∼χ2(n),则 X − n 2 n d → N ( 0 , 1 ) \frac{X-n}{\sqrt{2n}} \underrightarrow{ d} N(0,1) 2nX−ndN(0,1)
其中,记号 d → \underrightarrow{d} d表示随机变量序列依分布收敛。
(2)学生氏 t 2 t^2 t2分布
已知随机变量
X
1
∼
N
(
0
,
1
)
,
X
2
∼
χ
2
(
n
)
X_1 \sim N(0,1),X_2 \sim \chi^2(n)
X1∼N(0,1),X2∼χ2(n),且
X
1
X_1
X1与
X
2
X_2
X2相互独立,令
X
=
X
1
X
2
n
X=\frac{X_1}{\sqrt{\frac{X_2}{n}}}
X=nX2X1
则
X
X
X的概率分布被称之为自由度为
n
n
n的学生氏分布。若
X
X
X服从自由度为
n
n
n的学生氏分布,一般简记为
X
∼
t
(
n
)
X\sim t(n)
X∼t(n)。自由度为
n
n
n的
t
t
t分布的概率密度函数为:
f
X
(
x
)
=
{
Γ
(
n
+
1
2
)
n
π
Γ
(
n
2
)
(
1
+
x
2
n
)
−
n
+
1
2
,
x
>
0
0
,
x
≤
0
f_X(x) = \begin{cases} \frac{\Gamma(\frac{n+1}{2})}{\sqrt{n\pi}\Gamma{(\frac{n}{2})}}{(1+\frac{x^2}{n})}^{-\frac{n+1}{2}},&x>0\\ \\ 0,&x\le 0 \end{cases}
fX(x)=⎩⎪⎪⎨⎪⎪⎧nπΓ(2n)Γ(2n+1)(1+nx2)−2n+1,0,x>0x≤0
学生氏
t
t
t分布的性质:
1.若
X
∼
t
(
n
)
X \sim t(n)
X∼t(n),则当
n
>
1
n>1
n>1时,
E
(
X
)
=
0
E(X)=0
E(X)=0。当
n
>
2
n>2
n>2时,
V
a
r
(
X
)
=
n
n
−
2
Var(X)=\frac{n}{n-2}
Var(X)=n−2n。
2.若
X
∼
t
(
n
)
X \sim t(n)
X∼t(n),则有
l
i
m
n
→
∞
f
X
(
x
)
=
1
2
π
e
x
p
{
−
x
2
2
}
lim_{n \rightarrow \infty}f_X(x)=\frac{1}{\sqrt{2\pi}}exp\{-\frac{x^2}{2}\}
limn→∞fX(x)=2π1exp{−2x2}
当
n
n
n趋于无穷时,自由度为
n
n
n的学生
t
t
t分布趋于标准正太分布。但当
n
n
n较小时,自由度为
n
n
n的学生
t
t
t分布于标准正太分布有较大差异,表现在自由度为
n
n
n的学生
t
t
t分布的概率密度函数值在远离0处大于标准正太分布的概率密度函数值。
(3) F F F分布
已知随机变量
X
1
∼
χ
2
(
n
1
)
,
X
2
∼
χ
2
(
n
2
)
X_1 \sim \chi^2(n_1),X_2 \sim \chi^2(n_2)
X1∼χ2(n1),X2∼χ2(n2),且
X
1
X_1
X1与
X
2
X_2
X2相互独立,令
X
=
X
1
/
n
1
X
2
/
n
2
X=\frac{X_1/n_1}{X_2/n_2}
X=X2/n2X1/n1
则概率分布被称之为第一自由度为
n
1
n_1
n1的,第二自由度为
n
2
n_2
n2的
F
F
F分布,若
X
X
X服从第一自由度为
n
1
n_1
n1,第二自由度为
n
2
n_2
n2的
F
F
F分布,一般简记为
X
∼
F
(
n
1
,
n
2
)
X \sim F(n_1,n_2)
X∼F(n1,n2) 。
F
F
F分布的性质:
1.若
X
∼
F
(
n
1
,
n
2
)
X \sim F(n_1,n_2)
X∼F(n1,n2),则当
n
2
>
2
n_2>2
n2>2时,
E
(
X
)
=
n
2
n
2
−
2
E(X)=\frac{n_2}{n_2-2}
E(X)=n2−2n2,当
n
2
>
4
n_2>4
n2>4时,
V
a
r
(
X
)
=
2
n
2
2
(
n
1
+
n
2
−
2
)
n
1
(
n
2
−
2
)
(
n
2
−
4
)
Var(X)=\frac{2n_2^2(n_1+n_2-2)}{n_1(n_2-2)(n_2-4)}
Var(X)=n1(n2−2)(n2−4)2n22(n1+n2−2)。
2.若 X ∼ F ( n 1 , n 2 ) X \sim F(n_1,n_2) X∼F(n1,n2),则 X − 1 ∼ F ( n 2 , n 1 ) X^{-1} \sim F(n_2,n_1) X−1∼F(n2,n1)。
3.若 X ∼ t ( n ) X \sim t(n) X∼t(n),则 X 2 ∼ F ( 1 , n ) X^2 \sim F(1,n) X2∼F(1,n)。
(三)统计估计
统计估计理论是数理统计的重要组成部分,它主要涉及统计估计问题求解的基本思想和方法。所谓统计估计问题是指如何有效地利用来自总体的X样本的样本信息,求解总体 X X X分布的近似解析表达式或总体X有关量的近似值问题。
数理统计理论中,被用于对参数进行估计的统计量被称之为估计量,将样本实现带入估计量所确定的估计量的实现被称之为估计。有样本确定待估量的方法称之为估计方法。
(1)点估计
假设 θ \theta θ为总体 X X X的参数, X 1 , X 2 , . . . , X n X_1,X_2,...,X_n X1,X2,...,Xn是抽自总体 X X X的样本,由样本确定参数 θ \theta θ的估计量,进而代入样本实现获得估计,这种估计形式被称之为点估计,有时也被称之为定值估计。
由样本获得参数 θ \theta θ的估计量 θ ^ 1 \hat{\theta}_1 θ^1和 θ ^ 2 \hat{\theta}_2 θ^2,然后代入样本实现获得估计 θ ^ 10 \hat{\theta}_{10} θ^10和 θ ^ 20 \hat{\theta}_{20} θ^20,进行形成区间 [ θ ^ 10 , θ ^ 20 ] [\hat{\theta}_{10},\hat{\theta}_{20}] [θ^10,θ^20],以其估计参数 θ \theta θ所在范围,这种估计形式被称之为区间估计。
(2)矩估计
为确定参数的估计量,首先建立估计参数与总体矩的关系表式,然后从该关系式求出估计参数的总体矩表达式,并将该表达式中的总体矩以相应的样本矩替换,得估计参数的估计量。进而将样本实现带入所估计的估计量便得到要估计的一个具体估计。
以这种思想确定参数估计的方法被称之为矩估计方法。使用矩估计方法所确定的估计量称之为矩估计量,矩估计量代入样本实现所得估计量实现被称之为参数的矩估计。
矩估计的步骤:
假设总体
X
X
X的
1
∼
k
1 \sim k
1∼k阶原点矩存在,
θ
1
,
θ
2
,
.
.
.
,
θ
n
\theta_1,\theta_2,...,\theta_n
θ1,θ2,...,θn 为要估计的参数,则
θ
1
,
θ
2
,
.
.
.
,
θ
n
\theta_1,\theta_2,...,\theta_n
θ1,θ2,...,θn的矩估计量由以下三步求得。
1.建立估计参数
θ
1
,
θ
2
,
.
.
.
,
θ
n
\theta_1,\theta_2,...,\theta_n
θ1,θ2,...,θn与总体
X
X
X的
1
∼
k
1\sim k
1∼k阶的原点矩
μ
1
,
μ
2
,
.
.
.
,
μ
n
\mu_1,\mu_2,...,\mu_n
μ1,μ2,...,μn之间的关系式,如下所示:
{
μ
1
=
μ
1
(
θ
1
,
θ
2
,
.
.
.
θ
n
)
μ
2
=
μ
2
(
θ
1
,
θ
2
,
.
.
.
θ
n
)
.
.
.
μ
k
=
μ
k
(
θ
1
,
θ
2
,
.
.
.
θ
n
)
\begin{cases} \mu_1 = \mu_1(\theta_1,\theta_2,...\theta_n)\\ \mu_2 = \mu_2(\theta_1,\theta_2,...\theta_n)\\ ...\\ \mu_k = \mu_k(\theta_1,\theta_2,...\theta_n)\\ \end{cases}
⎩⎪⎪⎪⎨⎪⎪⎪⎧μ1=μ1(θ1,θ2,...θn)μ2=μ2(θ1,θ2,...θn)...μk=μk(θ1,θ2,...θn)
2.由上式求出要估计参数
θ
1
,
θ
2
,
.
.
.
,
θ
n
\theta_1,\theta_2,...,\theta_n
θ1,θ2,...,θn 关于总体
X
X
X的
1
∼
k
1\sim k
1∼k阶的矩
μ
1
,
μ
2
,
.
.
.
,
μ
n
\mu_1,\mu_2,...,\mu_n
μ1,μ2,...,μn的表达式,如下式所示,下式被称为矩估计方程组
{
θ
1
=
μ
1
(
μ
1
,
μ
2
,
.
.
.
μ
n
)
θ
2
=
μ
2
(
μ
1
,
μ
2
,
.
.
.
μ
n
)
.
.
.
θ
k
=
μ
k
(
μ
1
,
μ
2
,
.
.
.
μ
n
)
\begin{cases} \theta_1 = \mu_1(\mu_1,\mu_2,...\mu_n)\\ \theta_2 = \mu_2(\mu_1,\mu_2,...\mu_n)\\ ...\\ \theta_k = \mu_k(\mu_1,\mu_2,...\mu_n)\\ \end{cases}
⎩⎪⎪⎪⎨⎪⎪⎪⎧θ1=μ1(μ1,μ2,...μn)θ2=μ2(μ1,μ2,...μn)...θk=μk(μ1,μ2,...μn)
3.将上式中总体
X
X
X的
1
∼
k
1 \sim k
1∼k阶的原点矩
μ
1
,
μ
2
,
.
.
.
,
μ
n
\mu_1,\mu_2,...,\mu_n
μ1,μ2,...,μn以相应的样本矩
A
1
,
A
2
,
.
.
.
,
A
n
A_1,A_2,...,A_n
A1,A2,...,An替换,便得要估计参数
θ
1
,
θ
2
,
.
.
.
,
θ
n
\theta_1,\theta_2,...,\theta_n
θ1,θ2,...,θn的矩估计量,如下所示:
{
θ
^
1
=
θ
1
(
A
1
,
A
2
,
.
.
.
A
n
)
θ
^
2
=
θ
2
(
A
1
,
A
2
,
.
.
.
A
n
)
.
.
.
θ
^
k
=
θ
k
(
A
1
,
A
2
,
.
.
.
A
n
)
\begin{cases} \hat{\theta}_1 = \theta_1(A_1,A_2,...A_n)\\ \hat{\theta}_2 = \theta_2(A_1,A_2,...A_n)\\ ...\\ \hat{\theta}_k = \theta_k(A_1,A_2,...A_n)\\ \end{cases}
⎩⎪⎪⎪⎨⎪⎪⎪⎧θ^1=θ1(A1,A2,...An)θ^2=θ2(A1,A2,...An)...θ^k=θk(A1,A2,...An)
矩估计方法事实上就是以样本矩代替相应总体矩,以样本矩的函数代替相应总体矩的函数,体现的是一种替换的思想。
(三)参数的极大似然估计法
极大似然估计法以最大概率原理为基础,充分利用了总体所提供的新型,所求得的估计量有很多优良的性质。最大概率原理是指,假定一个随机试验E的所有基本事件为A,B,C,…。若对随机试验E仅进行一次观察,观察到的结果恰好是事件A发生,那么就认为随机试验E的条件对事件A的发生更为有利。也即事件A在随机试验E的所有基本事件A,B,C,…中发生的概率应该最大。
假定总体
X
X
X的概率函数(
X
X
X为离散型)或概率密度函数(
X
X
X为连续型)为
f
θ
(
x
)
f_\theta (x)
fθ(x),其中
θ
\theta
θ为未知参数,且
θ
∈
Θ
\theta \in \Theta
θ∈Θ 被称之为参数空间。
X
1
,
X
2
,
.
.
.
,
X
n
X_1,X_2,...,X_n
X1,X2,...,Xn为取自总体X的样本,
x
1
,
x
2
,
.
.
.
,
x
n
x_1,x_2,...,x_n
x1,x2,...,xn为样本的一个实现,则该样本实现的概率函数或概率密度函数为:
p
θ
(
x
1
,
x
2
,
.
.
.
,
x
n
)
=
∏
i
=
1
n
f
θ
(
x
i
)
p_\theta(x_1,x_2,...,x_n)=\prod_{i=1}^nf_\theta(x_i)
pθ(x1,x2,...,xn)=i=1∏nfθ(xi)
似然函数定义为:
L
(
θ
∣
x
1
,
x
2
,
.
.
.
,
x
n
)
=
∏
i
=
1
n
f
θ
(
x
i
)
L(\theta|x_1,x_2,...,x_n)=\prod_{i=1}^nf_\theta(x_i)
L(θ∣x1,x2,...,xn)=i=1∏nfθ(xi)
极大似然估计的步骤:
只要总体
X
X
X的概率或概率密度函数
f
θ
(
x
)
f_\theta(x)
fθ(x)已知,参数
θ
\theta
θ的极大似然估计是可以按照程式化的过程来求解,其一般步骤如下所示:
1.求似然函数,对似然函数取对数建立对数似然函数 l ( θ ∣ x 1 , x 2 , . . . , x n ) l(\theta|x_1,x_2,...,x_n) l(θ∣x1,x2,...,xn)。
2.求 l ( θ ∣ x 1 , x 2 , . . . , x n ) l(\theta|x_1,x_2,...,x_n) l(θ∣x1,x2,...,xn)的最大值点,得参数 θ \theta θ的极大似然估计 θ ^ ( x 1 , x 2 , . . . , x n ) \hat\theta(x_1,x_2,...,x_n) θ^(x1,x2,...,xn)。
3.以样本 X 1 , X 2 , . . . , X n X_1,X_2,...,X_n X1,X2,...,Xn对应替换参数 θ \theta θ极大似然估计 θ ^ ( x 1 , x 2 , . . . , x n ) \hat\theta(x_1,x_2,...,x_n) θ^(x1,x2,...,xn)中的 x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1,x2,...,xn,得参数 θ ^ \hat\theta θ^的极大似然估计量 θ ^ ( X 1 , X 2 , . . . , X n ) \hat\theta(X_1,X_2,...,X_n) θ^(X1,X2,...,Xn) 。