六大常用分布的矩估计和最大似然估计推导过程

应用数理统计 专栏收录该内容
7 篇文章 0 订阅

矩估计和极大似然估计

矩估计基于辛钦大数定律:

当样本的容量足够大时,样本k阶距(A_k)收敛域总体k阶距(a_k)

样本的平均值去估计总体的均值(期望)

期望和均值

数学期望常称为“均值”,即“随机变量取值的平均值”之意,这个平均是以概率为权的平均,不是通常意义上的(总数)/(个数),数学期望由随机变量的分布完全决定。
X ˉ = 1 n ∑ i = 1 n x i \bar{X}=\frac{1}{n}\sum_{i=1}^nx_i Xˉ=n1i=1nxi
(1)式,其实是平均值(期望是均值),对其求期望其实就是一个加权的过程,所以无论是哪种分布,都是E(x)=μ,而非X平均值=μ

方差:衡量一组数据离散程度的度量
S 2 = 1 n ∑ i = 1 n ( X − μ ) 2 S^2=\frac{1}{n}\sum_{i=1}^n(X-\mu)^2 S2=n1i=1n(Xμ)2
误差分析:

  • 因为X取得是样本,所以X的取值存在误差
  • 因为我们事先是不知道是什么分布的,所以μ是不知道的,使用均值替代的话,也会出现误差

方差和修正方差的来源及其证明
S 2 = 1 n ∑ i = 1 n ( x i − X ˉ ) 2 S 2 = 1 n ∑ i = 1 n [ ( x i − μ ) − ( X ˉ − μ ) ] 2 S 2 = 1 n ∑ i = 1 n [ ( x i − μ ) 2 − 2 ( x i − μ ) ( X ˉ − μ ) + ( X ˉ − μ ) 2 ] S 2 = 1 n ∑ i = 1 n ( x i − μ ) 2 − 2 n ∑ i = 1 n ( x i − μ ) ( X ˉ − μ ) + ( X ˉ − μ ) 2 S 2 = 1 n ∑ i = 1 n ( x i − μ ) 2 − ( X ˉ − μ ) 2 E ( S 2 ) = E ( 1 n ∑ i = 1 n ( x i − μ ) 2 − ( X ˉ − μ ) 2 ) = σ 2 − E ( ( X ˉ − μ ) 2 ) E ( ( X ˉ − μ ) 2 ) = E ( X ˉ 2 − 2 μ X ˉ + μ 2 ) = E ( X ˉ 2 ) − E ( X ˉ ) 2 = D ( X ) = σ 2 n E ( S 2 ) = σ 2 − σ 2 n = n − 1 n σ 2 S^2=\frac{1}{n}\sum_{i=1}^n(x_i-\bar{X})^2\\ S^2=\frac{1}{n}\sum_{i=1}^n[(x_i-\mu)-(\bar{X}-\mu)]^2\\ S^2=\frac{1}{n}\sum_{i=1}^n[(x_i-\mu)^2-2(x_i-\mu)(\bar{X}-\mu)+(\bar{X}-\mu)^2]\\ S^2=\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2-\frac{2}{n}\sum_{i=1}^{n}(x_i-\mu)(\bar{X}-\mu)+(\bar{X}-\mu)^2\\ S^2=\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2-(\bar{X}-\mu)^2\\ E(S^2)=E(\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2-(\bar{X}-\mu)^2)=\sigma^2-E((\bar{X}-\mu)^2)\\ E((\bar{X}-\mu)^2)=E(\bar{X}^2-2\mu\bar{X}+\mu^2)=E(\bar{X}^2)-E(\bar{X})^2=D(X)=\frac{\sigma^2}{n}\\ E(S^2)=\sigma^2-\frac{\sigma^2}{n}=\frac{n-1}{n}\sigma^2\\ S2=n1i=1n(xiXˉ)2S2=n1i=1n[(xiμ)(Xˉμ)]2S2=n1i=1n[(xiμ)22(xiμ)(Xˉμ)+(Xˉμ)2]S2=n1i=1n(xiμ)2n2i=1n(xiμ)(Xˉμ)+(Xˉμ)2S2=n1i=1n(xiμ)2(Xˉμ)2E(S2)=E(n1i=1n(xiμ)2(Xˉμ)2)=σ2E((Xˉμ)2)E((Xˉμ)2)=E(Xˉ22μXˉ+μ2)=E(Xˉ2)E(Xˉ)2=D(X)=nσ2E(S2)=σ2nσ2=nn1σ2
由上可知S^2σ^2是有微小差距的,所以对此做修正,得到的方差就是修正方差
E ( n n − 1 S 2 ) = n n − 1 n − 1 n σ 2 = σ 2 n n − 1 S 2 = n n − 1 1 n ∑ i = 1 n ( x i − X ˉ ) 2 = 1 n − 1 ∑ i = 1 n ( x i − X ˉ ) 2 ( S ∗ ) 2 = 1 n − 1 ∑ i = 1 n ( x i − X ˉ ) 2 E(\frac{n}{n-1}S^2)=\frac{n}{n-1}\frac{n-1}{n}\sigma^2=\sigma^2\\ \frac{n}{n-1}S^2=\frac{n}{n-1}\frac{1}{n}\sum_{i=1}^n(x_i-\bar{X})^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{X})^2\\ (S^*)^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{X})^2 E(n1nS2)=n1nnn1σ2=σ2n1nS2=n1nn1i=1n(xiXˉ)2=n11i=1n(xiXˉ)2(S)2=n11i=1n(xiXˉ)2
本质:使用样本原点距去估计总体原点距的一种方法(用样本量估计总体量)


估计均值
E ( X ˉ ) = E ( 1 n ∑ i = 1 n x i ) = 1 n ∑ i = 1 n E ( x i ) = 1 n n μ = μ E(\bar X)=E(\frac{1}{n}\sum_{i=1}^nx_i)=\frac{1}{n}\sum_{i=1}^nE(x_i)=\frac{1}{n}n\mu=\mu E(Xˉ)=E(n1i=1nxi)=n1i=1nE(xi)=n1nμ=μ

u ^ = X ˉ = 1 n ∑ i = 1 n x i \hat{u}=\bar{X}=\frac{1}{n}\sum_{i=1}^nx_i u^=Xˉ=n1i=1nxi

估计方差
σ 2 = a 2 − a 1 2 = 1 n ∑ i = 1 n x i 2 − X ˉ 2 = 1 n ∑ i = 1 n ( x i − X ˉ ) 2 = S 2 \sigma^2=a_2-a_1^2=\frac{1}{n}\sum_{i=1}^nx_i^2-\bar{X}^2=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{X})^2=S^2 σ2=a2a12=n1i=1nxi2Xˉ2=n1i=1n(xiXˉ)2=S2

σ ^ 2 = S 2 \hat{\sigma}^2=S^2 σ^2=S2


0-1分布:只有一个未知参数,所以也只能估P的值

X01
P1-pp

p ( x = x i ) = ( 1 − p ) 1 − x i p x i p(x=x_i)=(1-p)^{1-x_i}p^{x_i} p(x=xi)=(1p)1xipxi

矩估计:
E ( X ˉ ) = E ( 1 n ∑ i = 1 n x i ) = 1 n ∑ i = 1 n E ( x i ) = 1 n n p = p E(\bar{X})=E(\frac{1}{n}\sum_{i=1}^nx_i)=\frac{1}{n}\sum_{i=1}^nE(x_i)=\frac{1}{n}np=p E(Xˉ)=E(n1i=1nxi)=n1i=1nE(xi)=n1np=p

p ^ = X ˉ = 1 n ∑ i = 1 n x i \hat{p}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}x_i p^=Xˉ=n1i=1nxi

最大似然估计
L ( p ) = ( 1 − p ) ∑ x i = 1 n ( 1 − x i ) p ∑ x i = 1 n x i L(p)=(1-p)^{\sum_{x_i=1}^n(1-x_i)}p^{\sum_{x_i=1}^n{x_i}} L(p)=(1p)xi=1n(1xi)pxi=1nxi

l n L ( p ) = ∑ x i = 1 n ( 1 − x i ) l n ( 1 − p ) + ∑ x i = 1 n x i l n p lnL(p)=\sum_{x_i=1}^n(1-x_i)ln(1-p)+\sum_{x_i=1}^n{x_i}lnp lnL(p)=xi=1n(1xi)ln(1p)+xi=1nxilnp

令 : ∂ l n L ( p ) ∂ p = − ∑ x i = 1 n ( 1 − x i ) 1 − p + ∑ x i = 1 n x i p = 0 令:\frac{\partial{lnL(p)}}{\partial{p}}=-\frac{\sum_{x_i=1}^n(1-x_i)}{1-p}+\frac{\sum_{x_i=1}^n{x_i}}{p}=0 plnL(p)=1pxi=1n(1xi)+pxi=1nxi=0

p ^ = X ˉ = 1 n ∑ i = 1 n x i \hat{p}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}x_i p^=Xˉ=n1i=1nxi

注:估计的P,其实表示的就是在n次试验下,出现1的次数的概率


泊松分布
P ( x = x i ) = λ x i e − λ x i ! P(x=x_i)=\frac{\lambda^{x_i}e^{-\lambda}}{x_i!} P(x=xi)=xi!λxieλ
矩估计
E ( X ˉ ) = E ( 1 n ∑ i = 1 n x i ) = 1 n ∑ i = 1 n E ( x i ) = 1 n n λ = λ E(\bar{X})=E(\frac{1}{n}\sum_{i=1}^{n}x_i)=\frac{1}{n}\sum_{i=1}^{n}E(x_i)=\frac{1}{n}n\lambda=\lambda E(Xˉ)=E(n1i=1nxi)=n1i=1nE(xi)=n1nλ=λ

λ ^ = X ˉ = 1 n ∑ i = 1 n x i \hat{\lambda}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}x_i λ^=Xˉ=n1i=1nxi

注:E(x_i)=入的证明过程,其中使用到了泰勒公式进行变换
E ( X ) = ∑ i = 1 ∞ x i P ( x = x i ) = ∑ i = 1 ∞ x i λ x i e − λ x i ! = λ e − λ ∑ i = 1 ∞ λ x i − 1 ( x i − 1 ) ! = λ e − λ e λ = λ E(X)=\sum_{i=1}^\infty x_iP(x=x_i)=\sum_{i=1}^\infty x_i\frac{\lambda^{x_i}e^{-\lambda}}{x_i!}=\lambda e^{-\lambda}\sum_{i=1}^\infty \frac{\lambda ^{x_i-1}}{(x_i-1)!}=\lambda e^{-\lambda}e^{\lambda}=\lambda E(X)=i=1xiP(x=xi)=i=1xixi!λxieλ=λeλi=1(xi1)!λxi1=λeλeλ=λ
最大似然估计
L ( λ ) = λ ∑ i = 1 n x i e − n λ ∏ i = 1 n x i ! L(\lambda)=\frac{\lambda^{\sum_{i=1}^{n}x_i}e^{-n\lambda}}{\prod_{i=1}^{n}x_i!} L(λ)=i=1nxi!λi=1nxienλ

l n L ( λ ) = ∑ i = 1 n x i l n ( λ ) − n λ − l n ( ∏ i = 1 n x i ! ) lnL(\lambda)=\sum_{i=1}^{n}x_iln(\lambda)-n\lambda-ln(\prod_{i=1}^nx_i!) lnL(λ)=i=1nxiln(λ)nλln(i=1nxi!)

令 : ∂ l n L ( λ ) ∂ λ = ∑ i = 1 n x i λ − n = 0 令: \frac{\partial{lnL(\lambda)}}{\partial\lambda}=\frac{\sum_{i=1}^{n}x_i}{\lambda}-n=0 λlnL(λ)=λi=1nxin=0

可 得 : λ ^ = X ˉ = 1 n ∑ i = 1 n x i 可得:\hat{\lambda}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}x_i :λ^=Xˉ=n1i=1nxi


均匀分布
f ( x ) = { 1 b − a a < x < b 0 其 他 f(x)=\begin{cases}\frac{1}{b-a}\quad a<x<b\\0\quad\quad其他\end{cases} f(x)={ba1a<x<b0

注:这里有两个参数,分别是a和b,故需要至少列两个参数才能得到解

矩估计
E ( X ) = ∫ a b x f ( x ) d x = ∫ a b x b − a d x = 1 2 ( b + a ) = X ˉ σ 2 = 1 n ∑ i = 1 n ( x i − X ˉ ) 2 = S 2 ( 下 式 原 理 ) 1 b − a ∫ a b ( x − X ˉ ) 2 d x = 1 b − a ∫ a b ( x − 1 2 ( b + a ) ) 2 d x = 1 12 ( b − a ) 2 = S 2 解 得 : { b ^ = X ˉ + 3 S a ^ = X ˉ − 3 S E(X)=\int_{a}^{b}xf(x)dx=\int_{a}^{b}\frac{x}{b-a}dx=\frac{1}{2}(b+a)=\bar{X}\\ \sigma^2=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{X})^2=S^2(下式原理)\\ \frac{1}{b-a}\int_{a}^{b}(x-\bar{X})^2dx=\frac{1}{b-a}\int_{a}^{b}(x-\frac{1}{2}(b+a))^2dx=\frac{1}{12}(b-a)^2=S^2\\ 解得:\begin{cases}^{\hat{a}=\bar{X}-\sqrt{3}S}_{\hat{b}=\bar{X}+\sqrt{3}S}\end{cases} E(X)=abxf(x)dx=abbaxdx=21(b+a)=Xˉσ2=n1i=1n(xiXˉ)2=S2()ba1ab(xXˉ)2dx=ba1ab(x21(b+a))2dx=121(ba)2=S2{b^=Xˉ+3 Sa^=Xˉ3 S
最大似然估计

常规的,列最大似然函数,然后求导令为零是求不出估计值。


指数分布

特点:无记忆性,可以用于描述机器寿命。
f ( x ) = { 0 其 他 λ e − λ x x > 0 f(x)=\begin{cases}^{\lambda e^{-\lambda x}\quad x>0}_{0\quad\quad 其他}\end{cases} f(x)={0λeλxx>0
矩估计:
E ( X ) = ∫ 0 + ∞ λ x e − λ x d x = 1 λ = X ˉ λ ^ = 1 X ˉ E(X)=\int_0^{+\infty}\lambda xe^{-\lambda x}dx=\frac{1}{\lambda}=\bar{X}\\ \hat{\lambda}=\frac{1}{\bar{X}} E(X)=0+λxeλxdx=λ1=Xˉλ^=Xˉ1
极大似然估计
L ( λ ) = λ n e − λ ∑ i = 1 n x i l n L ( λ ) = n l n λ − λ ∑ i = 1 n x i 令 : ∂ ( l n L ( λ ) ) ∂ λ = n λ − ∑ i = 1 n x i = 0 λ ^ = n ∑ i = 1 n 1 x i = 1 X ˉ L(\lambda)=\lambda^ne^{-\lambda \sum_{i=1}^nx_i}\\ lnL(\lambda)=nln\lambda-\lambda\sum_{i=1}^nx_i\\ 令:\frac{\partial({lnL(\lambda)})}{\partial\lambda}=\frac{n}{\lambda}-\sum_{i=1}^{n}x_i=0\\ \hat{\lambda}=n\sum_{i=1}^n\frac{1}{x_i}=\frac{1}{\bar{X}} L(λ)=λneλi=1nxilnL(λ)=nlnλλi=1nxiλ(lnL(λ))=λni=1nxi=0λ^=ni=1nxi1=Xˉ1


正态分布
f ( x ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} f(x)=2π σ1e2σ2(xμ)2
X~N(μ,σ^2)
{ σ ^ = S μ ^ = X ˉ \begin{cases}^{\hat{\mu}=\bar{X}}_{\hat{\sigma}=S}\end{cases} {σ^=Sμ^=Xˉ


写笔记难免有错误,烦请指正!如有疑问可加QQ:1372931501

  • 21
    点赞
  • 3
    评论
  • 78
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

13.1 极大似然估计的原理 极大似然的估计原理可以由下面的程序得到说明。我们首先生成 10 个服从 正态分布的总体,每个总体的均值都不同,依次为 0,1,2,3,4,5,6,7,8, 9。方差相同,均为 1。然后我们随机地取出一个总体,从中抽出 10 个样本,因 为事先不知道是从哪一个总体中抽出来的,所以我们分别用已知的 10 个总体参 数值代入似然函数,计算出 10 个似然函数值,取其中 大的似然值,认为该样 本是从相应的总体中取出的(从而联合概率密度也 大化)。然后我们让计算机 告诉我们它是从第几个总体中取样的,并与我们的判断进行对比。 *===========================begin================================== capt prog drop mle prog mle /*生成10个均值不同、方差均为1的正态总体,每个总体取8个样本*/ drawnorm double x0-x9,n(8) m(0,1,2,3,4,5,6,7,8,9) clear global i=int(10*uniform()) //设定一个随机数,用于随机取出一个总体 forv j=0/9 { gen lnf`j' =-0.5*ln(2*_pi)*8-sum(0.5*(x$i-`j')^2) //对取出的总体计算似然值 scalar lnf`j'=lnf`j'[_N] //最终的似然值 } scalar list // 比较10个似然值哪个最大,猜想是从第几个总体取出来的? end mle *根据10个似然值,猜想是从第几个总体取出来的? di "所抽中的样本为" as error "X"$i //显示真正的取样总体是什么 *===========================end==================================== 在现实中,我们并不知道任何一个真正的总体参数,因此,只能借助于找到 样本似然值(实际上是联合概率密度的对数值) 大的总体参数,即认为其是总 体参数。在 STATA 中实现 大似然法的估计必须自己编写程序。下面的例子说 明了如何利用 stata 编写程序来实现对模型的极大似然估计。 13.2 正态总体均值和方差的极大似然估计 *===========================begin================================== capt prog drop bb prog bb //定义程序的名称 args lnf u v //声明参数,u 为均值,v为方差 quietly replace `lnf' = -0.5*ln(2*_pi) - ln(`v') -0.5*($ML_y1-`u')^2/(`v')^2 end drawnorm x,n(100) m(10) sd(3) clear//模拟均值为10,方差为3的100个正态样本 ml model lf bb (x=) (variance:) //利用迭代法则进行极大似然估计
©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值