概率论第七章参数估计点估计、区间估计(置信区间)

zwy2022

已于 2023-02-19 11:40:16 修改

阅读量3.8k

点赞数 13

分类专栏：概率论基础文章标签：概率论机器学习人工智能

于 2022-09-28 17:18:41 首次发布

本文链接：https://blog.csdn.net/m0_65207522/article/details/127091899

版权

概率论基础专栏收录该内容

9 篇文章

订阅专栏

一、点估计

$\hat{\theta }$ 称为θ帽(θhat)

无偏估计量：

即：若θ的估计量 $\hat{\theta }$ 的数学期望E( $\hat{\theta }$ )等于θ，则称θ的估计量 $\hat{\theta }=\hat{\theta }(X1,X2,...,Xn)$ 是未知参数θ的无偏估计量。

题型：求数学期望

题型：证明A是B的无偏估计量

关键还是求数学期望。若E(A)=B，则称A是B的无偏估计量。

平方和拆成3项，第一项不变，后两项合并。

第一项是 $\sum_{i=1}^{n}Xi^{^{2}}$ ，

第二项是 $\sum_{i=1}^{n}-2Xi\bar{X}=-2\bar{X}\sum_{i=1}^{n}Xi=-2\bar{X}(n\bar{X})=-2n\bar{X}^{^{2}}$ ，

第三项是 $\sum_{i=1}^{n}\bar{X}^{2}=n\bar{X}^{2}$ ，

第二项和第三项合并以后为 $-n\bar{X}^{2}$ 。

更有效估计量（近30年没考过）

一致估计量（近年没考过）

一般出现依概率收敛 $A\overset{P}{\rightarrow}B$ ，就用大数定律！

回顾：切大与辛大条件不同，结论相同。

切大条件①Xi不相关②方差有界结论： $\frac{1}{n}\sum_{i=1}^{n}Xi \overset{P}{\rightarrow}E(Xi)$

辛大条件①Xi独立同分布②期望存在结论： $\frac{1}{n}\sum_{i=1}^{n}Xi \overset{P}{\rightarrow}E(Xi)$

题型：求数学期望

题型：无偏估计量

关键：

背出泊松分布的数学期望和方差

题型：综合较复杂。已知总体X的概率密度f(x)，求总体X的分布函数F(x)，求统计量 $\hat{\theta }$ 的分布函数F $\hat{\theta }$ (z)，计算统计量 $\hat{\theta }$ 的数学期望。

二、估计量的求法（矩估计法和最大似然估计法）

1、矩估计法：通过解方程组“总体矩=样本矩"求出要估计的未知参数。

设总体X的分布含有未知参数θ1、θ2…θk，显然 $E\left (X ^{k} \right ),k=1,2,3......$ 是关于θ1、θ2…θk的函数，样本的k阶原点矩 $\frac{1}{n}\sum_{i=1}^{n}Xi^{k},k=1,2,3......$ ，当k=1样本的一阶原点矩= $\bar{X}$ 。

由：总体X的k阶原点矩 $E\left (X ^{k} \right ),k=1,2,3......$ = 样本Xi的k阶原点矩 $\frac{1}{n}\sum_{i=1}^{n}Xi^{k},k=1,2,3......$ ，可以建立k个方程组，解出k个未知参数θ1、θ2…θk。

★求k个参数的估计就列出一阶矩到k阶矩的方程，考试大纲只要求最多两个参数的估计，最多两个方程。① $E(X)=\frac{1}{n}\sum_{i=1}^{n}Xi=\bar{X}$ ② $E(X^{2})=\frac{1}{n}Xi^{2}$

原理:总体X和样本X1、X2…Xn独立同分布，所以总体X的分布中的未知参数θ1、θ2…=样本Xi的分布中的未知参数θ1、θ2…。

矩估计法不需要知道总体分布的具体分布数学形式，只要知道各阶矩存在。

2、最大似然估计法

第一步：写出似然函数L(θ)

1）总体X为离散型，似然函数L(θ) =样本概率分布全部相乘

2）总体X为连续型，似然函数L(θ) =样本概率密度全部相乘

第二步：找到未知参数θ的最大似然估计

未知参数θ的最大似然估计量 $\hat{\theta }=\hat{\theta }\left ( X1,X2,...,Xn \right )$ ——大写Xi

未知参数θ的最大似然估计值 $\hat{\theta }=\hat{\theta }\left ( x1,x2,...,xn \right )$ ——小写xi

易错点：

若题干给的是样本X1,X2,…Xn，答案写的是最大似然估计量 $\hat{\theta }=\hat{\theta }\left ( X1,X2,...,Xn \right )$

若题干给的是样本观测值x1,x2,…xn，答案写的是最大似然估计值 $\hat{\theta }=\hat{\theta }\left ( x1,x2,...,xn \right )$

最大似然估计法步骤：①写出似然函数L(θ) ②找到最大值点：似然函数取对数后，再对θ求导，使导数为0，找到最大值点 $\hat{\theta }$ / 利用单调性，找出似然函数的最大值点 $\hat{\theta }$ 。

题型：已知总体X服从的分布带有两个未知参数μ和 $\sigma ^{2}$

（1）求μ和 $\sigma ^{2}$ 的矩估计（2）求μ和 $\sigma ^{2}$ 的最大似然估计

规范写法：解得μ的矩估计 $\hat{\mu }$ =…，解得 $\sigma$ 的矩估计 $\hat{\sigma }$ =…

注意：似然函数表达式中的 $(Xi-\mu)^{2}$ 不要化开，那样会变复杂

似然函数取对数时，要以 $\sigma ^{2}$ 整体的方式出现，不要以 $\sigma$ 单个出现。把 $ln\frac{1}{\sigma }=-ln\sigma$ 凑成 $-ln\left [ \left ( \sigma ^{2}\right )^{\frac{1}{2}}\right ]=-\frac{1}{2}ln\left ( \sigma ^{2}\right )$

题型：总体X服从指数分布(连续型)，求参数λ的最大似然估计值

题型：似然函数的最大值点不是驻点的情况，总体X服从均匀分布(连续型)，求未知参数θ的最大似然估计

题型：总体X是离散型，总体X的分布有未知参数θ，样本值具体知道——可以解出估计值 $\hat{\theta }$ 的具体数值

易错点：

若题干给的是样本X1,X2,…Xn，答案写的是最大似然估计量 $\hat{\theta }=\hat{\theta }\left ( X1,X2,...,Xn \right )$

若题干给的是样本观测值x1,x2,…xn，答案写的是最大似然估计值 $\hat{\theta }=\hat{\theta }\left ( x1,x2,...,xn \right )$

三、区间估计

最近1~2年考过1~2次

1、置信区间（或区间估计）

θ的1-α置信区间：(θ1,θ2)，

P{θ1＜θ＜θ2}=1-α——通俗来说，估计两个值θ1和θ2，能把未知参数θ套住的概率是1-α。

置信水平(置信度)用1-α表示，表示参数的真实值落在置信区间中的概率（测量值的可信程度）。题目常给定的置信水平为0.95。（1-α=0.95，则α=0.05）

2、一个正态总体的区间估计

直接背住这两个1-α置信区间（两种情况：μ未知、 $\sigma^{2}$ 已知和μ未知、 $\sigma^{2}$ 未知）

置信区间的计算取决于选用的统计量——置信区间是一个随机的区间，这里的随机是指端点为随机变量。这个随机变量通常是一个统计量，当抽取不同的样本时对应不同的值，从而对应不同的区间。

1）μ未知、 $\sigma^{2}$ 已知时，选用一个正态总体的统计量分布：

2）μ未知、 $\sigma^{2}$ 未知时（S已知），选用一个正态总体的统计量分布：

推导过程：

1、μ未知、 $\sigma^{2}$ 已知时，求μ的1-α置信区间：

标准正态分布的概率密度 $\varphi (x)$ 图像：， $u_{\frac{\alpha }{2}}$ 为标准正态分布的上α/2分位点：满足P{X> $u_{\frac{\alpha }{2}}$ }= $\frac{\alpha }{2}$ 。

U~N(0,1)，由图像可明显看出U的1-α置信区间两个端点为- $u_{\frac{\alpha }{2}}$ 和 $u_{\frac{\alpha }{2}}$ ，即 $P\left \{ -u_{\frac{\alpha }{2}}< U<u_{\frac{\alpha }{2}} \right \}=1-\alpha$

$P\left \{ -u_{\frac{\alpha }{2}}< U<u_{\frac{\alpha }{2}} \right \}=P\left \{ -u_{\frac{\alpha }{2}}< \frac{\bar{X}-\mu }{\sigma /\sqrt{n}}<u_{\frac{\alpha }{2}}\right \}=P\left \{ -u_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}}< \bar{X}-\mu< u_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}} \right \}=P\left \{ \bar{X} -u_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}}< \mu <\bar{X} +u_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}} \right \}=1-\alpha$

可以推出μ的1-α置信区间为 $\left ( \bar{X} -u_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}},\bar{X} +u_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}}\right )$ 。

①求出样本均值 $\bar{X}$ ②查表得标准正态分布上 $\frac{\alpha }{2}$ 分位点的值 $u_{\frac{\alpha }{2}}$ ，根据已知的 $\sigma$ 和n计算出 $u_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}}$ ③用样本均值 $\bar{X}$ 加、减 $u_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}}$ ，得到置信区间的两个端点。

2、μ未知、 $\sigma^{2}$ 未知，S已知时，求μ的1-α置信区间：

，t分布的概率密度f(x)图像：

同理可得μ的1-α置信区间为 $\left ( \bar{X} -t_{\frac{\alpha }{2}}\left ( n-1 \right )\frac{S }{\sqrt{n}},\bar{X} +t_{\frac{\alpha }{2}}\left ( n-1 \right )\frac{S }{\sqrt{n}}\right )$ 。

①求出样本均值 $\bar{X}$ ②查表得t分布上 $\frac{\alpha }{2}$ 分位点的值 $t_{\frac{\alpha }{2}}\left ( n-1 \right )$ ，根据已知的S和n计算出 $t_{\frac{\alpha }{2}}\left ( n-1 \right )\frac{S}{\sqrt{n}}$ ③用样本均值 $\bar{X}$ 加、减 $t_{\frac{\alpha }{2}}\left ( n-1 \right )\frac{S}{\sqrt{n}}$ ，得到置信区间的两个端点。