第七章参数估计
§7.1参数的点估计
一、点估计问题
设总体X的分布函数的形式为已知的F(x,θ),其中x是自变量,θ为位置参数(它可以是一个数,也可以是一个向量).借助于总体X的一个样本(X 1 ,X 2 ,⋯,X n ),来估计未知参数θ的值的问题,称为参数的点估计问题.
二、矩估计法
设总体X的分布函数为F(x,θ 1 ,θ 2 ,⋯,θ k ),其中θ 1 ,θ 2 ,⋯,θ k 为k个未知数.假设总体X的各阶原点矩E(X l )(l=1,2,⋯,k)存在.则E(X l )是θ 1 ,θ 2 ,⋯,θ k 的函数,记作μ l =μ l (θ 1 ,θ 2 ,⋯,θ k )即μ l (θ 1 ,θ 2 ,⋯,θ k )=E(X l )(l=1,2,⋯,k)对于总体X的样本(X 1 ,X 2 ,⋯,X n ),样本的l阶原点矩为A l =1n ∑ i=1 n X l i ,l=1,2,⋯,k令μ l =A l ,l=1,2,⋯,k,
即
⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ μ 1 (θ 1 ,θ 2 ,⋯,θ k )=1n ∑ i=1 n X i ,μ 2 (θ 1 ,θ 2 ,⋯,θ k )=1n ∑ i=1 n X 2 i ,⋯⋯⋯⋯μ k (θ 1 ,θ 2 ,⋯,θ k )=1n ∑ i=1 n X k i ,
从上述方程组中解出θ 1 ,θ 2 ,⋯,θ k ,分别记作θ 1 ^ =θ 1 ^ (X 1 ,X 2 ,⋯,X n ),θ 2 ^ =θ 2 ^ (X 1 ,X 2 ,⋯,X n ),⋯⋯⋯⋯θ k ^ =θ k ^ (X 1 ,X 2 ,⋯,X n ),以此作为未知参数θ 1 ,θ 2 ,⋯,θ k 的估计量,称为矩估计量.
如果样本观察值为(x 1 ,x 2 ,⋯,x n ),则得未知参数θ 1 ,θ 2 ,⋯,θ k 的矩估计值为θ 1 ^ =θ 1 ^ (x 1 ,x 2 ,⋯,x n ),θ 2 ^ =θ 2 ^ (x 1 ,x 2 ,⋯,x n ),⋯⋯⋯⋯θ k ^ =θ k ^ (x 1 ,x 2 ,⋯,x n ),上述估计未知数的方法就叫矩估计法.
例1.设总体X服从参数λ的泊松分布,其中λ>0为未知,又设X 1 ,X 2 ,⋯,X n 为X的样本,求λ的矩估计量.
解:X∼π(λ),E(X)=λ,即μ 1 =E(X)=λ,令μ 1 =A 1 ,即λ=1n ∑ i=1 n X i =X ¯ ¯ ¯ ,得λ的矩估计量为λ ^ =X ¯ ¯ ¯ .
例2.设总体X服从参数为λ的指数分布,其概率密度为
f(x)={λe −λx ,x>00,x≤0
其中λ>0为未知,又设X 1 ,X 2 ,⋯,X n 为X的样本,求λ的矩估计量.
解:由于μ 1 =E(X)=1λ ,令μ 1 =A 1 即1λ =1n ∑ i=1 n X i =X ¯ ¯ ¯ ,因此得到λ的矩估计量为λ ^ =1X ¯ ¯ ¯
例3.设总体X在区间[a,b]上服从均匀分布,a与b为未知,X 1 ,X 2 ,⋯,X n 是来自总体X的样本,求a与b的矩估计量.
解:μ 1 =E(X)=a+b2 ,μ 2 =E(X 2 )=D(X)+[E(X)] 2 =(b−a) 2 12 +(a+b) 2 4
令{μ 1 =A 1 ,μ 2 =A 2
即⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ a+b2 =A 1 =1n ∑ i=1 n X i =X ¯ ¯ ¯ ,(b−a) 2 12 +(a+b) 2 4 =A 2 =1n ∑ i=1 n X 2 i ,
整理得⎧ ⎩ ⎨ a+b=2A 1 ,b−a=12(A 2 −A 2 1 ) − − − − − − − − − − √
于是得到a、b的矩估计量为
a ^ =A 1 −3(A 2 −A 2 1 ) − − − − − − − − − √ =X ¯ ¯ ¯ −3n ∑ i=1 n (X i −X ¯ ¯ ¯ ) 2 − − − − − − − − − − − − √
b ^ =A 1 +3(A 2 −A 2 1 ) − − − − − − − − − √ =X ¯ ¯ ¯ +3n ∑ i=1 n (X i −X ¯ ¯ ¯ ) 2 − − − − − − − − − − − − √
例4.设总体X的均值为μ,方差为σ 2 ,且σ>0,但μ与σ均未知,又设总体X的一个样本为(X 1 ,X 2 ,⋯,X n ),求μ与σ 2 的矩估计量.
解:μ 1 =E(X)=μ,μ 2 =E(X 2 )=D(X)+[E(X)] 2 =σ 2 +μ 2 .
令{μ 1 =A 1 ,μ 2 =A 2 ,
即⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ μ=A 1 =1n ∑ i=1 n X i =X ¯ ¯ ¯ ,σ 2 +μ 2 =A 2 =1n ∑ i=1 n X 2 i
解此方程组得到μ与σ 2 的矩估计量为
μ ^ =X ¯ ¯ ¯ ,
σ 2 ^ =A 2 −A 2 1 =1n ∑ i=1 n X 2 i −X ¯ ¯ ¯ 2 =1n ∑ i=1 n (X i −X ¯ ¯ ¯ ) 2
注:此例说明,无论总体X服从什么分布,样本均值X ¯ ¯ ¯ 都是总体均值μ的矩估计量,样本二阶中心矩就是总体方差σ 2 的矩估计量.
例5.某厂生产一批铆钉,现要检验铆钉头部直径,从这批产品中随机抽取12只,测得头部直径(单位:mm)如下:
13.3013.54 13.3813.31 13.4013.34 13.4313.47 13.3213.44 13.4813.50
设铆钉头部直径这一总体X服从正态分布N(μ,σ 2 ),试求μ与σ 2 的矩估计量.
解:由例4可得μ ^ =x ¯ =112 (13.30+13.38+⋯+13.50)=13.41,σ 2 ^ =112 ∑ i=1 12 (x i −x ¯ ) 2 =112 [(13.31−13.41) 2 +(13.38−13.41) 2 +⋯+(13.50−13.41) 2 ]
三、极大似然估计法
1.设总体X为离散型随机变量,其分布律为P{X=x k }=p(x k ,θ),k=1,2,⋯,其中θ为未知参数,取值范围为Θ(大写θ),设X 1 ,X 2 ,⋯,X n 为来自X的样本,则X 1 ,X 2 ,⋯,X n 的联合分布律为∏ i=1 n p(x i ,θ).又设x 1 ,x 2 ,⋯,x n 为一组样本值,令L(θ)=L(x 1 ,x 2 ,⋯,x n ,θ)=∏ i=1 n p(x i ,θ),(1)称L(θ)为样本的似然函数.
若有θ ^ =θ ^ (x 1 ,x 2 ,⋯,x n )∈Θ,使得对于一切θ∈Θ,有L(θ ^ )≥L(θ)成立,则称θ ^ =θ ^ (x 1 ,x 2 ,⋯,x n )为θ的极大(或最大)似然估计值,相应的统计量θ ^ =θ ^ (X 1 ,X 2 ,⋯,X n )称为θ的极大(或最大)似然估计量.
我们规定,使得dL(θ)dθ =0的θ ^ 就是θ的极大似然估计值.由于lnx是单调增函数,所以L(θ)与lnL(θ)有相同的驻点,因此只需从dlnL(θ)dθ =0(2)中解出θ ^ 就是θ的极大似然估计值,称方程(2)为极大似然方程.
例6.设总体X∼π(λ),X 1 ,X 2 ,⋯,X n 为总体X的样本,求λ的极大似然估计量.
解:设样本值为x 1 ,x 2 ,⋯,x n ,由于X的分布律为p(x,λ)=λ x x! e −λ ,x=1,2,⋯,所以似然函数为L(λ)=∏ i=1 n p(x i ,λ)=e −nλ ∏ i=1 n λ x i x i ! ,lnL(λ)=−nλ+lnλ∑ i=1 n x i −∑ i=1 n ln(x i !)令dlnL(λ)dλ =−n+1λ ∑ i=1 n x i =0得λ的极大似然估计值为λ ^ =1n ∑ i=1 n x i =x ¯ ,因此得到λ的极大似然估计量为λ ^ =1n ∑ i=1 n X i =X ¯ ¯ ¯ .
例7.设一批产品中含有次品,次品率p未知,从中抽取容量为n的样本,求p的极大似然估计量.
解:从总体中任取一件产品进行观测,其结果可用随机变量X表示如下:
X={1,取出一件产品是次品0,取出一件产品为正品
设X 1 ,X 2 ,⋯,X n 为X的一个样本,观察值为x 1 ,x 2 ,⋯,x n ,则似然数为L(p)=∏ i=1 n p(x i ,p)=∏ i=1 n p x i (1−p) 1−x i =p ∑ i=1 n x i ⋅(1−p) n−∑ i=1 n x i lnL(p)=lnp⋅∑ i=1 n x i +ln(1−p)(n−∑ i=1 n x i )令dlnL(p)dp =1p ∑ i=1 n x i −11−p (n−∑ i=1 n x i )=0解得p的极大似然估计值为p ^ =1n ∑ i=1 n x i =x ¯ 因此p的极大似然估计量为p ^ =1n ∑ i=1 n X i =X ¯ ¯ ¯
2.设总体X为连续型随机变量,其概率密度为f(x,θ),θ∈Θ,θ为未知参数,设X 1 ,X 2 ,⋯,X n 为来自总体X的样本,其观察值为x 1 ,x 2 ,⋯,x n ,则似然函数为L(θ)=∏ i=1 n f(x i ,θ),(3)似然方程为ddθ lnL(θ)=0(4)解出θ的极大似然估计值为θ ^ =θ ^ (x 1 ,x 2 ,⋯,x n ).极大似然估计量为θ ^ =θ ^ (X 1 ,X 2 ,⋯,X n ).
例8.设总体X的密度为
f(x,λ)={λe −λx ,x>0,0,x≤0
其中λ>0为未知参数,(X 1 ,X 2 ,⋯,X n )为样本,求λ的极大似然估计量.
解:设样本值为(x 1 ,x 2 ,⋯,x n )(x i >0,i=1,2,⋯,n),似然函数为L(λ)=∏ i=1 n f(x i ,λ)=∏ i=1 n λe −λx i =λ n e −λ∑ i=1 n x i lnL(λ)=nlnλ−λ∑ i=1 n x i 令ddλ lnL(λ)=nλ −∑ i=1 n x i =0得极大似然估计值为λ ^ =n∑ i=1 n x i =1x ¯ 于是得到λ的极大似然估计量为λ ^ =1X ¯ ¯ ¯
例9.设总体X的概率密度为
f(x)={θx θ−1 ,0<x<10,其它
又设X 1 ,X 2 ,⋯,X n 为X的样本,求θ的矩估计量与极大似然估计量.
解:(1)由于μ 1 =EX=∫ +∞ −∞ xf(x)dx=∫ 1 0 xθx θ−1 dx=θθ+1 ,令μ 1 =A 1 ,即θθ+1 =1n ∑ i=1 n X i =X ¯ ¯ ¯ ,解得θ的矩估计量为θ ^ =X ¯ ¯ ¯ 1−X ¯ ¯ ¯ (2)设样本值为x 1 ,x 2 ,⋯,x n (0<x i <1),似然函数为L(θ)=∏ i=1 n θx θ−1 i =θ n (∏ i=1 n x i ) θ−1 lnL(θ)=nlnθ+(θ−1)∑ i=1 n lnx i 令ddθ lnL(θ)=nθ +∑ i=1 n lnx i =0,解得θ的极大似然估计值为θ ^ =−n∑ i=1 n lnx i 因此,θ的极大似然估计量为θ ^ =−n∑ i=1 n lnX i
3.设总体X的分布中含有k个参数θ 1 ,θ 2 ,⋯,θ k ,则似然函数是这些未知参数的函数L=L(θ 1 ,θ 2 ,⋯,θ k ),取对数后,求出lnL关于θ i 的偏导数并令它等于0,得到似然方程组∂lnL∂θ i =0,i=1,2,⋯,k由此方程组解得θ i 的极大似然估计值θ i ^ .
例10.设总体X∼N(μ,σ 2 ),μ与σ 2 未知,(X 1 ,X 2 ,⋯,X n )为总体X的样本,求μ与σ 2 的极大似然估计量.
解:X的概率密度为f(x,μ,σ 2 )=12π − − √ σ e −(x−μ) 2 2σ 2 ,−∞<x<+∞设x 1 ,x 2 ,⋯,x n 为样本值,似然函数为L(μ,σ 2 )=∏ i=1 n f(x i ,μ,σ 2 )=∏ i=1 n 12π − − √ σ e −(x i −μ) 2 2σ 2 =(2π) −n2 1σ n e −12σ 2 ∑ i=1 n (x i −μ) 2 lnL(μ,σ 2 )=−n2 ln2π−n2 lnσ 2 −12σ 2 ∑ i=1 n (x i −μ) 2
例11.设总体X在区间[a,b]上服从均匀分布,其中a、b未知,X 1 ,X 2 ,⋯,X n 为总体X的样本,求a、b的极大似然估计量.
解:X的概率密度为
f(x)=⎧ ⎩ ⎨ 1b−a ,a≤x≤b,0,其它
设样本值为x 1 ,x 2 ,⋯,x n (a≤x i ≤b),似然函数为L(a,b)=1(b−a) n 因为L(a,b)是a的单调增函数,a越大,L(a,b)就越大,但a不能大于x (1) =min{x 1 ,x 2 ,⋯,x n };又因为L(a,b)是b的单调减函数,b越小,L(a,b)就越大,但b不能小于x (n) =max{x 1 ,x 2 ,⋯,x n }.对于满足a≤x (1) ,b≥x (n) 的任意a,b有L(a,b)=1(b−a) n ≤1[x (n) −x (1) ] n
当a=x (1) ,b=x (n) 时,L(a,b)取得最大值1[x (n) −x (1) ] n
所以a,b的极大似然估计值为
a ^ =x (1) =min{x 1 ,x 2 ,⋯,x n },
b ^ =x (n) =max{x 1 ,x 2 ,⋯,x n },
a,b的极大似然估计量为
a ^ =X (1) =min{X 1 ,X 2 ,⋯,X n },
b ^ =X (n) =max{X 1 ,X 2 ,⋯,X n },
4.极大似然估计的性质
设μ(θ)是关于未知参数θ的函数,θ∈Θ,μ(θ)具有单值反函数,又设θ ^ 是总体分布中所含参数θ的极大似然估计,则μ ^ =μ(θ ^ )是μ的极大似然估计.
四、估计量的评选标准
1.无偏性
估计量是样本的函数,它是一个随机变量,由不同的方法得到的估计量可能相同也可能不同.而对同一估计量,由不同的样本观察值得到的估计值也可能不同.我们很自然地要求估计量的期望等于参数的真值,即无偏性.
定义:设θ ^ =θ ^ (X 1 ,X 2 ,⋯,X n )是未知参数θ的估计量,若E(θ ^ )=θ,则称θ ^ 为θ的无偏估计(量).
例12.设(X 1 ,X 2 ,⋯,X n )是来自具有有限均值μ与方差σ 2 的总体X的一个样本.证明:样本均值X ¯ ¯ ¯ 是μ的无偏估计,样本方差S 2 是σ 2 的无偏估计.
证:μ ^ =X ¯ ¯ ¯ .σ 2 ^ =S 2 =1n−1 ∑ i=1 n (X i −X ¯ ¯ ¯ ) 2 =1n−1 [∑ i=1 n X 2 i −nX ¯ ¯ ¯ 2 ]E(μ ^ )=E(1n ∑ i=1 n X i )=1n ∑ i=1 n E(X i )=1n ∑ i=1 n μ=μE(σ 2 ^ )=E(1n−1 [∑ i=1 n X 2 i −nX ¯ ¯ ¯ 2 ])=1n−1 [∑E(X 2 i )−nE(X ¯ ¯ ¯ 2 )]=1n−1 [nE(X 2 )−nE(X ¯ ¯ ¯ 2 )]=nn−1 [D(X)+(E(X)) 2 −D(X ¯ ¯ ¯ )−(E(X ¯ ¯ ¯ )) 2 ]=nn−1 [σ 2 +μ 2 −σ 2 n −μ 2 ]=σ 2 因此,μ ^ =X ¯ ¯ ¯ 与σ 2 ^ =S 2 分别为μ与σ 2 的无偏估计.
例13.设总体X的均值为μ(X 1 ,X 2 ,X 3 )是总体X的样本,证明下列两个估计量
μ ^ 1 =X 2 ,μ ^ 2 =12 X 1 +16 X 2 +13 X 3 都是μ的无偏估计.
解:由于E(μ 1 ^ )=E(X 2 )=E(X)=μ,E(μ 2 ^ )=12 E(X 1 )+16 E(X 2 )+13 E(X 3 )=12 μ+16 μ+13 μ =μ所以μ 1 ^ 与μ 2 ^ 都是μ的无偏估计.(只需k 1 +k 2 +⋯+k n =1,则μ ^ =k 1 X 1 +k 2 X 2 +⋯+k n X n 就是μ的无偏估计)
2.有效性
设θ 1 ^ 与θ 2 ^ 是参数θ的两个无偏估计量,若D(θ 1 ^ )<D(θ 2 ^ ),则称θ 1 ^ 比θ 2 ^ 有效.
例14.比较例13中μ 1 ^ 与μ 2 ^ 哪个更有效.
3.一致性
设θ ^ =θ ^ (X 1 ,X 2 ,⋯,X n )为参数θ的估计量,若当n→∞时,θ ^ 按概率收敛于θ,即对于任意正数ε,有lim n→∞ P{|θ ^ −θ|<ε}=1,则称θ ^ 为θ的一致估计(量)