第六章数理统计的基本知识
数理统计是以概率论为基础,根据试验或观察得到数据,来研究随机现象.通过统计分析,对研究对象的客观规律性作出合理的估计和推断.
6.1总体和样本
在一个统计问题中,我们把所研究对象的全体称为一个 总体 .总体中的每个元素(即每一个研究对象)称为 个体 .
若总体中包含有限个个体,则称这个总体为 有限总体 ,否则称为 无限总体 ,总体中所包含的个体总数称为 总体容量 .
在统计问题中,人们所关心的往往不是总体的一切方面,而是它的某一项数量指标X.因此,我们把这个数量指标X所有可能取值的全体就作为总体看待,称为总体X,X是一个随机变量.我们要根据试验或观察得到的数据来得到X的概率分布和数字特征,分别称为总体的分布和数字特征.
大家知道,随机现象的统计规律性必然在大量的重复试验中呈现出来.为了推断总体X的性质,从理论上讲,应该对每一个个体逐一进行测试,然而实际上这样做往往是不现实的,例如,要研究灯泡寿命,由于寿命测试是破坏性的,当测试过每只灯泡的寿命后,这批灯泡就报废了.
一般来说,恰当的方法是按照一定的规则从总体中抽取若干个个体进行测试,为了使测试到的数据能很好的反应总体的情况,当然应该 要求总体中每一个个体被抽到的可能性是均等的,并且在抽取一个个体后总体的成分不改变 .这种抽取个体的方法称为 简单随机抽样 .被抽出的部分个体,叫做总体的一个 样本 .
假设我们从总体X中抽取n个个体进行测试(简单抽样),把测试结果分别记作X 1 ,X 2 ,⋯,X n .由于抽样的随机性,X i 可以取X所有可能的值,是与X具有同样分布的随机变量,且X 1 ,X 2 ,⋯,X n 相互独立.这样的n个个体称为总体X的一个简单随机样本.
定义:设X是具有某一概率分布的随机变量(看作一个总体).如果随机变量X 1 ,X 2 ,⋯,X n 相互独立,且都与X具有相同的概率分布,则称n维随机变量(X 1 ,X 2 ,⋯,X n )为来自总体X的简单随机样本,简称样本,n称为样本容量.在对总体X进行一次具体抽样并作观测之后,得到样本(X 1 ,X 2 ,⋯,X n )的确切的数值(x 1 ,x 2 ,⋯,x n ),称为一个样本观测值(观察值),简称样本值.样本(X 1 ,X 2 ,⋯,X n )所有可能取值的全体称为样本空间,它是n维空间或其中的一个子集.样本观察值(x 1 ,x 2 ,⋯,x n )是样本空间中的一个点.如果总体X的分布函数为F(x),则X的样本X 1 ,X 2 ,⋯,X n 的联合分布函数为∏ i=1 n F(x i ).如果总体X为连续型且概率密度为f(x),则样本(X 1 ,X 2 ,⋯,X n )的联合概率密度为∏ i=1 n f(x i )
§6.2统计量及其分布
一、统计量
样本是总体的代表,是统计推断的依据.在应用时,往往不是直接使用样本本身,而是针对不同的问题构造样本的函数,来进行统计推断.
定义1.设(X 1 ,X 2 ,⋯,X n )是来自总体X的一个样本,t=g(t 1 ,t 2 ,⋯,t n )为t 1 ,t 2 ,⋯,t n 的一个单值实函数,并且其中不包含任何未知参数,则称T=g(X 1 ,X 2 ,⋯,X n )为一个统计量.
设x 1 ,x 2 ,⋯,x n 是相应于样本X 1 ,X 2 ,⋯,X n 的样本值,则称g(x 1 ,x 2 ,⋯,x n )是统计量T=g(X 1 ,X 2 ,⋯,X n )的观察值.
二、样本矩
设(X 1 ,X 2 ,⋯,X n )是来自样本X的一个样本,(x 1 ,x 2 ,⋯,x n )是样本观察值,定义:
样本均值X ¯ ¯ ¯ =1n ∑ i=1 n X i .
样本方差S 2 =1n−1 ∑ i=1 n (X i −X ¯ ¯ ¯ ) 2 =1n−1 [∑ i=1 n X 2 i −nX ¯ ¯ ¯ 2 ]
样本标准差(均方差)S=S 2 − − √ =1n−1 ∑ i=1 n (X i −X ¯ ¯ ¯ ) 2 − − − − − − − − − − − − − − − √
样本k阶(原点)矩A k =1n ∑ i=1 n X k i (k=1,2,⋯)
样本k阶中心矩B k =1n ∑ i=1 n (X i −X ¯ ¯ ¯ ) k (k=1,2,⋯)
A 1 =X ¯ ¯ ¯ ,B 1 =0,B 2 =1n ∑ i=1 n (X i −X ¯ ¯ ¯ ) 2 ,S 2 =nn−1 B 2
它们的观察值分别为:
x ¯ =1n ∑ i=1 n x i ,
s 2 =1n−1 ∑ i=1 n (x i −x ¯ ) 2 =1n−1 [∑ i=1 n x 2 i −nx ¯ 2 ]
s=1n−1 ∑ n=1 n (x i −x ¯ ) 2 − − − − − − − − − − − − − − − √
a k =1n ∑ i=1 n x k i
b k =1n ∑ i=1 n (x i −x ¯ ) k
三、顺序统计量
定义2.(X 1 ,X 2 ,⋯,X n )是总体X的一个样本,(x 1 ,x 2 ,⋯,x n )是一个样本观察值,将它由小到大的顺序排列,得到x (1) ≤x (2) ≤⋯≤x (n) ,取x (i) 的观测值,由此得到的统计量X (1) ,X (2) ,⋯,X (n) 称为样本(X 1 ,X 2 ,⋯,X n )的一组顺序统计量,X (i) 称为第i个顺序统计量或第i项.统计量
X ˜ =⎧ ⎩ ⎨ X (m+1) ,当n=2m+112 (X (m) +X (m+1) ),当n=2m
R n =x (n) −x (1)
分别称为样本中位数和样本极差.
样本均值,顺序统计量的首项及末项,样本中位数描述了样本在数轴上的大致位置;样本方差与样本极差描述了样本的分散程度.
§6.3样本分布函数与频率直方图
一、样本分布函数
样本能够反映总体X的信息,总体X的分布函数F(x)是否能由样本来表示?回答是肯定的,我们用下面介绍的样本来近似表示总体X的分布函数.
定义:设x (1) ,x (2) ,⋯,x (n) 是总体X的顺序统计量的一组观察值,对于任意的实数x,定义函数
F n (x)=⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ 0,x<x (1) ;in ,x (i) ≤x<x (i+1) ,i=1,2,⋯,n−1;1,x≥x (n)
称F n (x)为总体X的样本分布函数(或经验分布函数)
例.设样本总体X,取样n=7(0.1,0.3,0.4,0.2,0.3,0.2,0.5).
解:(0.1,0.2,0.20.3,0.3,0.4,0.5)
F 7 (x)=⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ 0,x<0.117 ,0.1≤x<0.237 ,0.2≤x<0.357 ,0.3≤x<0.467 ,0.4≤x<0.51,x≥0.5
样本分布函数F n (x)不仅与样本容量n有关,还与所得到的样本观察值有关,故它是随机变量.F n (x)的图形(图6−1)程跳跃上升的台阶状,在x (1) ,x (2) ,⋯,x (n) 中不重复的值处,跳跃高度为1n ;在重复l次的值处,跳跃高度为ln .图6−1中的曲线是总体X的理论分布函数F(x)的图形.
样本分布函数F n (x)具有如下性质:①0≤F n (x)≤1;②F n (x)是单调不减函数;③F n (x)是处处右连续的.
对于样本观察值(x 1 ,x 2 ,⋯,x n ),为了求其对应的样本分布函数F n (x)之值,只需将这n个值中小于或等于x的个数除以样本容量n即可.对于给定的x,F n (x)是n次重复独立试验中事件{X≤x}出现的频率,而理论分布函数F(x)是事件{X≤x}发生的概率,由伯努利定理知,对任意给定的正数ε,有lim n→∞ P{|F n (x)−F(x)|<ε}=1,即F n (x)按概率收敛于F(x).进一步还有如下结论.
定理:(格利文科定理)设总体X的分布函数为F(x),样本分布函数F n (x),则对于任何实数x,有P{lim n→∞ sup|F n (x)−F(x)|=0}=1
二、频率直方图
如果说样本分布函数是通过随机样本对总体分布函数的反映,那么下面介绍的频率直方图就是样本对总体概率密度函数的反映(假设总体是连续随机变量).依据总体X的一个样本观察值(x 1 ,x 2 ,⋯,x n )画直方图的一般步骤如下:①找出x 1 ,x 2 ,⋯,x n 中最小值x (1) 于最大值x (n) .②选择常数a、b(a≤x (1) ,b≥x (n) ),在区间[a,b]内插入k−1个分点;a=t 0 <t 1 <t 2 <⋯<t k−1 <t k =b.用来对样本观察值进行分组.为了方便,可将区间[a,b]分成k等分,此时组距是Δt=t i −t i−1 =b−ak ,i=1,2,⋯,k.组数k要选择适当.一般地说,当20≤n≤100时,取k为5∼10;当n>100时,取k为10∼15.通常取t i 比样本观察值精度高一位.③对于每个小区间(t i ,t i−1 ],数出x 1 ,x 2 ,⋯,x n 落入其中的个数n i (称为频率),再算出频率f i =n i n ,i=1,2,⋯,k.④在xoy平面上,对每个i,画出以(t i−1 ,t i ]为底,以y i =f i Δt (i=1,2,⋯,k)为高的矩形.这种图称为频率直方图,简称直方图.
直方图中第i个小矩形的面积y i Δt=f i (i=1,2,⋯,k),k个小矩形的面积之和为1.
由于样本观察值的n个数值x 1 ,x 2 ,⋯,x n 是总体x中独立抽取的,它们落入区间(t i−1 ,t i ]的频率f i 近似等于随机变量X在该区间内取值的概率,即f i ≈P{t i−1 <X≤t i }=p i ,i=1,2,⋯,k,当X是连续随机变量,且概率密度为f(x)时,则有f i ≈∫ t i t i−1 f(x)dx=p i ,i=1,2,⋯,k.由此可见直方图在一定程度上反映了X的概率密度情况.
例1.某炼钢厂生产一种钢,由于各种偶然因素的影响,各炉钢的含硅量是有差异的,因而应该把含硅量X看成一个随机变量.现在记录了120炉正常生产的这种钢的含硅量的数据(百分数):
0.860.790.820.770.770.800.840.790.820.830.780.740.750.880.810.830.800.900.820.84 0.830.820.780.780.710.770.790.860.780.890.840.780.790.820.790.650.800.800.840.82 0.770.820.800.770.950.760.900.760.730.810.840.780.850.760.770.640.770.850.850.85 0.810.810.810.780.780.820.820.780.830.860.840.800.750.850.780.780.810.810.840.84 0.810.810.870.770.810.800.790.830.810.820.810.740.740.730.810.750.750.770.820.78 0.800.870.810.770.790.820.820.750.810.820.810.780.710.780.870.820.830.780.85078
试根据这些数据作出直方图,并根据直方图估计含硅量X的分布.
解:①从n=120个数据中找出最小值x (1) =0.64及最大值x (120) =0.95.
②取a=0.635,b=0.955,分k=16组,组距Δt=0.955−0.63516 =0.02.
③分组及频率如表6−1所示.表中的组中值t i ¯ =t i−1 +t i 2 (i=1,2,⋯,16)将会在第八章第五节用到.
表6-1
分组(t i−1 ,t i ]0.635∼0.6550.655∼0.6750.675∼0.6950.695∼0.7150.715∼0.7350.735∼0.7550.755∼0.7750.775∼0.7950.795∼0.8150.815∼0.8350.835∼0.8550.855∼0.8750.875∼0.8950.095∼0.9150.915∼0.9350.935∼0.955 频数200228132324211462201 组中值0.6450.6650.6850.7050.7250.7450.7650.7850.8050.8250.8450.8650.8850.9050.9250.945
④以横轴x轴表示含硅量,a=t 0 =0.635,t 1 =0.655,⋯,t 15 =0.935,b=t 16 =0.955,Δt=0.02,取纵坐标的单位长度为1n⋅Δt =12.4 ,则直方图中第i个矩形的高度y i =f i Δt =n i n ⋅1Δt =n t n⋅Δt =n i 2.4 ,正好是n i (i=1,2,⋯,16)个单位.
有了直方图,就可以大致画出X的概率密度曲线,从图上看,曲线很像正态分布的概率密度曲线.
§6.4几个常用的统计量的分布
统计量是样本的函数,它是一个随机变量,下面介绍来自正态总体的几个常用统计量的分布.
一、χ 2 分布
1.定义:设X 1 ,X 2 ,⋯,X n 是来自正态总体N(0,1)的样本,则称统计量:χ 2 =X 2 1 +X 2 2 +⋯+X 2 n 服从自由度为n的χ 2 分布,记作χ 2 ∼χ 2 (n).
2.χ 2 (n)分布的概率密度(不证):
f(x)=⎧ ⎩ ⎨ ⎪ ⎪ 12 n2 Γ(n2 ) x n2 −1 e −n2 ,x>00,x≤0
其中Γ(n2 )为Γ函数Γ(s)=∫ +∞ 0 x s−1 e −x dx(x>0)在s=n2 处的函数值.
[Γ(s+1)=sΓ(s),Γ(12 )=π √ ,Γ(n+1)=n!,Γ(1)=1]
3.χ 2 (n)分布的性质
性质1:设χ 2 ∼χ 2 (n),则E(χ 2 )=n,D(χ 2 )=2n
证:因X i ∼N(0,1),E(X 2 i )=1,D(X i )=1.E(X 4 i )=E(X 4 )=∫ +∞ −∞ x 4 12π − − √ e −x 2 2 dx=3.D(X 2 i )=E(X 4 i )−[E(X 2 i )] 2 =2.E(χ 2 )=∑ i=1 n E(X 2 i )=n,D(χ 2 )=∑ i=1 n D(X 2 i )=2n
性质2:设X∼χ 2 (n 1 ),Y∼χ 2 (n 2 ),且X与Y相互独立,则X+Y∼χ 2 (n 1 +n 2 ).
性质3:设X∼N(μ,σ 2 ),X 1 ,X 2 ,⋯,X n 为X的样本,则1σ 2 ∑ i=1 n (X i −μ) 2 ∼χ 2 (n)
证:X i −μσ ∼N(0,1),由定义,有
1σ 2 ∑ i=1 n (X i −μ) 2 =∑ i=1 n (X i −μσ ) 2 ∼χ 2 (n)
性质4:设χ 2 ∼χ 2 (n),则对任意实数x,有
lim n→∞ P{χ 2 −n2n − − √ ≤x}=12π − − √ ∫ x −∞ e −t 2 2 dt
4.χ 2 (n)分布的上α分位点:
设χ 2 ∼χ 2 (n),对于给定的正数α(0<α<1),称满足条件
P{χ 2 >χ 2 α (n)}=∫ +∞ χ 2 α (n) f(x)dx=α
的点χ 2 α (n)为χ 2 (n)分布的上α分位点.
例如:取α=0.1,n=25,则查附表4(P395)有χ 2 0.1 (25)=34.382.
二、t分布(学生分布)
1.定义:设X∼N(0,1),Y∼χ 2 (n),且与X独立,则称随机变量
t=XYn − − √
服从自由度为n的t分布,记作t∼t(n).
2.t(n)分布的概率密度(不证):
f(x)=Γ(n+12 )nπ − − − √ Γ(n2 ) (1+x 2 n ) n+12 ,−∞<x<+∞
3.性质:t(n)分布的概率密度关于y轴对称,且
lim n→∞ f(x)=12π − − √ e −x 2 2 ,−∞<x<+∞
4.t(n)分布的上α分位点:
设t∼t(n),对于给定正数α(0<α<1),称满足条件P{t>t α (n)}=α的点t α (n)为t(n)分布的上α分位点,且有
−t α (n)=t 1−α (n),t α (n)≈μ α
三、F分布
1.定义:设X∼χ 2 (m),Y∼χ 2 (n),且X与Y独立,则称随机变量
F=Xm Yn
为服从自由度是m,n的F分布,记作F∼F(m,n),其中m称为第一自由度,n称为第二自由度.
2.F(m,n)分布的概率密度为
f(x)=⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ Γ(m+n2 )Γ(m2 )Γ(n2 ) (mn ) m2 x m2 −1 (1+mn x) −m+n2 ,x>00,x≤0
3.F(m,n)分布的性质:
若F∼F(m,n),则1F ∼F(n,m).
4.F(m,n)分布的上α分位点:
设F∼F(m,n),对于给定正数α(0<α<1),称满足条件P{F>F α (m,n)}=α的点F α (m,n)为F(m,n)分布的上α分位点,且有:F 1−α (m,n)=1F α (m,n)
§6.5正态总体统计量的分布
本节介绍来自正态总体的样本均值与样本方差的抽样分布.这是参数估计与假设检验的基础.
定理1.设X∼N(μ,σ 2 ),X 1 ,X 2 ,⋯,X n 为来自总体X的样本,则X ¯ ¯ ¯ =1n ∑ i=1 n X i ∼N(μ,σ 2 n ),
X ¯ ¯ ¯ −μσ/n √ ∼N(0,1)
定理2.1σ 2 ∑ i=1 n (X i −μ) 2 ∼χ 2 (n)
定理3.设X 1 ,X 2 ,⋯,X n 是正态总体N(μ,σ 2 )的一个样本,则样本均值X ¯ ¯ ¯ 与样本方差S 2 相互独立,且有(n−1)S 2 σ 2 ∼χ 2 (n−1)
定理4.设X 1 ,X 2 ,⋯,X n 是正态总体N(μ,σ 2 )的样本,X ¯ ¯ ¯ 与S 2 分别为样本均值与样本方差,则有X ¯ ¯ ¯ −μS/n √ ∼t(n−1)
证:由X ¯ ¯ ¯ −μσ/n √ ∼N(0,1),(n−1)S 2 σ 2 ∼χ 2 (n−1),则有X ¯ ¯ ¯ −μσ/n √ (n−1)S 2 σ 2 /n−1 − − − − − − − − − − − − − − √ ∼t(n−1)
定理5.设总体X∼N(μ 1 ,σ 2 1 ),总体Y∼N(μ 2 ,σ 2 2 ),且X与Y独立.X 1 ,X 2 ,⋯,X m 与Y 1 ,Y 2 ,⋯,Y n 分别为来自总体X与总体Y的样本,且这两组样本相互独立.X ¯ ¯ ¯ =1m ∑ i=1 m X i ,Y ¯ ¯ ¯ =1n ∑ j=1 n Y j ,S 2 1 =1m−1 ∑ i=1 m (X i −X ¯ ¯ ¯ ) 2 ,S 2 2 =1n−1 ∑ j=1 n (Y j −Y ¯ ¯ ¯ ) 2 ,则有(i)X ¯ ¯ ¯ −Y ¯ ¯ ¯ ∼N(μ 1 −μ 2 ,σ 2 1 m +σ 2 2 n ),μ=(X ¯ ¯ ¯ −Y ¯ ¯ ¯ )−(μ 1 −μ 2 )σ 2 1 m +σ 2 2 n − − − − − − − − √ ∼N(0,1)(ii)若σ 2 1 =σ 2 2 =σ 2 ,则t=X ¯ ¯ ¯ −Y ¯ ¯ ¯ −(μ 1 −μ 2 )S w 1m +1n − − − − − − √ ∼t(m+n−2),其中S 2 w =(m−1)S 2 1 +(n−1)S 2 2 m+n−2 ,S w =S 2 w − − − √ (iii)F=nσ 2 2 mσ 2 1 ∑ i=1 m (X i −μ 1 ) 2 ∑ j=1 n (Y j −μ 2 ) 2 ∼F(m,n)(iv)F=σ 2 2 S 2 1 σ 2 1 S 2 2 ∼F(m−1,n−1)
例1.从总体N(52,6.3 2 )中随机抽取一容量为36的样本,求样本均值X ¯ ¯ ¯ 落在50.8到53.8之间的概率.
解:n=36,μ=52,σ=6.3.由X ¯ ¯ ¯ −μσ/n √ ∼N(0,1),即μ=X ¯ ¯ ¯ −526.3 ×6∼N(0,1),得所求概率为P{50.8<X ¯ ¯ ¯ <53.8}=P{50.8−526.3 ×6<X ¯ ¯ ¯ −526.3 ×6<53.8−526.3 ×6}=P{−1.14<μ<1.71}=Φ(1.71)−Φ(−1.14)=Φ(1.71)+Φ(1.14)−1=0.9564+0.8729−1=0.8293
例2.设X 1 ,X 2 ,⋯,X 10 为总体N(0,0.09)的一个样本,求P{∑ i=1 10 X 2 i >1.44}
解:由X−00.3 ∼N(0,1),X i 0.3 ∼N(0,1),10.3 2 ∑ i=1 10 X 2 i ∼χ 2 (10),则有P{∑ i=1 10 X 2 i >1.44}=P{10.3 2 ∑ i=1 10 X 2 i >1.440.3 2 }=P{χ 2 (10)>16}=0.10(查χ 2 (n)表394页)
例3.设总体X∼N(0,σ 2 ),样本X 1 ,X 2 ,⋯,X 6 ,设Y=(X 1 +X 2 +X 3 ) 2 +(X 4 +X 5 +X 6 ) 2 ,求C,使CY服从χ 2 分布,并求自由度.
解:由X i ∼N(0,σ 2 ),有X 1 +X 2 +X 3 ∼N(0,3σ 2 ),X 4 +X 5 +X 6 ∼N(0,3σ 2 ),Y 1 =X 1 +X 2 +X 3 3 √ σ ∼N(0,1),Y 2 =X 4 +X 5 +X 6 3 √ σ ∼N(0,1),由独立性有Y 2 1 +Y 2 2 ∼χ 2 (2),取C=13σ 2 ,有CY=Y 2 1 +Y 2 2 ∼χ 2 (2),自由度为2.