东北大学应用数理统计第二章知识点总结——参数估计

参数估计

一、点估计

1.1 矩估计：$V_k=E{X}^k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k$

1. 定义：用样本的有关矩去作为总体有关矩的估计。
2. 重要结论
   （1）样本均值作为总体期望的估计
   （2）样本二阶中心矩作为总体方差的估计
   （3）样本中位数（众数）作为总体中位数（众数）的估计
3. 理论依据：大数律。矩估计基本上都是依概率或者几乎处处收敛到未知参数。
4. 需注意问题
   （1）总体的参数不能表示成矩的函数时（一般是总体矩不存在），就不能使用矩估计
   （2）如果能够用低阶的矩估计，就不要用高阶矩
   （3）按照矩估计的理论应该用样本的二阶中心矩来估计总体的方差，但是在实际应用中人们总是采用样本方差作为总体方差的的估计。
5. 最大优点：简单实用，与总体分布形势没有关系。只要知道总体随机变量一些矩存在，就可以做相应的矩估计。
6. 几个常见分布的矩估计
   （1）二项分布 $B(N,p),N$已知
   $$\hat{p}=\frac{\overline{X}}{N}$$
   （2）均匀分布 $U(a,b)$
   $$\hat{b},\hat{a}=\overline{X}\pm \sqrt{\frac{3(n-1)}{n}}S$$
   （3）泊松分布 $P(\lambda )$
   $$\hat{\lambda }=\overline{X}$$
   （4）参数为 $\lambda$ 的指数总体
   $$\hat{\lambda }=\frac{1}{\overline{X}}$$
   （5）正态总体 $N(\mu ,{\sigma }^2)$
   $$\hat{\mu }=\overline{X},{\hat{\sigma }}^2=\frac{n-1}{n}{S}^2$$
   $$\hat{\sigma }=\sqrt{\frac{n-1}{n}}S$$

1.2 极大似然估计：$L(\theta )=f(x,\theta )$

1. 定义：所有情况中，“看起来最像”的那个估计。求参数 $\theta$ 使已知条件发生的可能性最大。
2. 重要结论
   （1）对离散总体，似然函数是样本联合分布律
   （2）对连续总体，它是样本联合密度函数
3. 如何理解：总体参数 $\theta$ 的极大似然估计就是使得似然函数在 $\Theta$ 参数空间中达到极大。
   $$\forall \theta \in \Theta ,L(\hat{\theta })=maxL(\theta )$$
4. 求解方式
   （1）建立极大似然方程组，求对数，导数等于0
   （2）用定义
5. 几个常见分布的似然函数
   （1）二项分布 $B(N,p),N$已知
   $$L(\theta )=[\prod (\genfrac{}{}{0ex}{}{N}{x_k})]p^{\sum x_k}(1-p{)}^{nN-\sum x_k}$$
   $$\frac{\partial }{\partial \theta }ln[L(\theta )]=\frac{\overline{x}}{p}-\frac{N-\overline{x}}{1-p}=0$$
   （2）正态总体 $N(\mu ,{\sigma }^2)$
   L ( θ ) = ( 2 π σ 2 ) − n 2 e x p { − 1 2 σ 2 ∑ k = 1 n ( x k − μ ) 2 } L(\theta) = (2\pi \sigma^2)^{-\frac{n}{2}}exp\{-\frac{1}{2\sigma^2} \sum_{k=1}^n(x_k-\mu)^2\} L(θ)=(2πσ2)−2n​exp{−2σ21​k=1∑n​(xk​−μ)2}
   $$\{\begin{array}{l}\frac{1}{{\sigma }^2}(\overline{x}-\mu )=0\\ -\frac{n}{2{\sigma }^2}+\frac{1}{2({\sigma }^2{)}^2}{\sum }_{k=1}^n(x_k-\mu {)}^2=0\end{array}$$
   （3）均匀分布 $U(a,b)$
   $$L(\theta )=1,\theta <x_{(1)},...,x_{(n)}<\theta +1$$
6. 几个常见分布的极大似然估计
   （1）二项分布 $B(N,p),N$已知
   $$\hat{p}=\frac{\overline{X}}{N}$$
   （2）均匀分布 $U(a,b)$
   $$\hat{a},\hat{b}=X_{(1)},X_{(n)}$$
   （3）泊松分布 $P(\lambda )$
   $$\hat{\lambda }=\overline{X}$$
   （4）参数为 $\lambda$ 的指数总体
   $$\hat{\lambda }=\frac{1}{\overline{X}}$$
   （5）正态总体 $N(\mu ,{\sigma }^2)$
   $$\hat{\mu }=\overline{X},{\hat{\sigma }}^2=\frac{n-1}{n}{S}^2$$
   $$\hat{\sigma }=\sqrt{\frac{n-1}{n}}S$$

1.3 比较

• 矩估计不需要知道总体分布，只要求总体的矩存在
• 极大似然估计必须要知道总体来自哪一种分布类型，有更多数学上的良好性质

二、估计的优良标准

1.1 无偏性：$E\varphi (X_1,...,X_n)=g(\theta )$

1. 定义：估计量的数学期望要等于参数
2. 利用充分统计量构造无偏估计

1.2 有效性

1. 定义：估计量的方差要比较小（主要限制在无偏估计的范围内）
2. 如何衡量估计的偏差
   $$MSE(\phi )=E[\phi (X_1,...,X_2)--g(\theta ){]}^2$$
3. 限制在UE中的最优估计：一致最小方差无偏估计（UMVUE）
4. 一般情况下如何寻找UMVUE
   如果$T$是充分、完备的统计量，$\phi (T)$是$g(\theta )$的一个无偏估计，则$\varphi (t)$就是$g(\theta )$的UMVUE
5. 关于一些常见分布的参数的UMVUE
   （1）二项分布 $B(N,p),N$已知
   $$\hat{p}=\frac{\overline{X}}{N}$$
   （2）泊松分布 $P(\lambda )$
   $$\hat{\lambda }=\overline{X}$$
   （3）参数为 $\lambda$ 的指数总体
   $$\hat{\lambda }=\frac{n-1}{n\overline{X}}$$
   （4）正态总体 $N(\mu ,{\sigma }^2)$
   $$\hat{\mu }=\overline{X},{\hat{\sigma }}^2=S^2$$

1.3 相合性：${\phi }_n$依概率收敛到$g(\theta )$

1. 定义：当样本容量趋于无限多时，估计量应该收敛到参数
2. 公式
   P { ∣ φ n − g ( θ ) ∣ > ε } → 0 P\{|\varphi_n-g(\theta)|>\varepsilon\}\to0 P{∣φn​−g(θ)∣>ε}→0
3. 强相合估计
   P { φ n → g ( θ ) }   = 1 P\{\varphi_n\to g(\theta)\}\ = 1 P{φn​→g(θ)} =1
4. 渐进正态估计
   $$\frac{n^{\frac{1}{2}}[{\phi }_n-g(\theta )]}{\sigma }\to N(0,1)$$

三、区间估计

1.1 置信区间

1. 定义：给定一个常数$0<\alpha <1$，对于总体未知参数$g(\theta )$，如果存在两个统计量${\phi }_1、{\phi }_2$满足：则称$({\phi }_1,{\phi }_2)$是$g(\theta )$的置信度$1-\alpha$的置信区间。
2. 相关概念：置信下限、置信上限、置信区间、置信度、置信水平等

1.2 求解思路

1. 找一个枢轴变量$Z(X,\theta )$
2. 对于给定的置信度$1-\alpha$，求出两个常数$a、b$
3. 变换不等式，成为的等价的形式。因此区间$({\phi }_1,{\phi }_2)$就是$g(\theta )$的一个置信度为$1-\alpha$的区间估计
   $$a<Z(X,\theta )<b\to {\phi }_1(X)<g(\theta )<{\phi }_2(X)$$

1.3 常见的区间估计

1. **总体属性比例的置信区间（$p_s,p,1-\alpha$）（最短区间 ）
   $$\frac{X-np}{\sqrt{np(1-p)}}=\frac{\frac{X}{n}-p}{\sqrt{\frac{p(1-p)}{n}}}\to N(0,1)$$
   $$(p_s-u_{\alpha /2}\sqrt{\frac{p_s(1-p_s)}{n}},p_s+u_{\alpha /2}\sqrt{\frac{p_s(1-p_s)}{n}})$$
2. **指数总体参数的置信区间（$\lambda ,1-\alpha$）（不一定是最短区间 ）
   $$2\lambda \sum _{i=1}^n{X}_i\to \Gamma (\frac{2n}{2},\frac{1}{2})={\chi }^2(2n)$$
   $$(\frac{{\chi }_{1-\alpha /2}^2(2n)}{2n\overline{X}},\frac{{\chi }_{\alpha /2}^2(2n)}{2n\overline{X}})$$
3. **正态总体均值的置信区间（$\overline{X},1-\alpha$）（最短区间 ）
   （1）总体方差已知（${\sigma }^2={\sigma }_0^2,N(\mu ,\frac{{\sigma }_0^2}{n})$）
   P { ∣ n ( X ‾ − μ ) σ 0 ∣ ≤ u α / 2 } = 1 − α P\{|\frac{\sqrt{n}(\overline{X}-\mu)}{\sigma_0}|\le u_{\alpha/2}\} = 1-\alpha P{∣σ0​n ​(X−μ)​∣≤uα/2​}=1−α
   $$(\overline{X}-u_{\alpha /2}\frac{{\sigma }_0}{\sqrt{n}},\overline{X}+u_{\alpha /2}\frac{{\sigma }_0}{\sqrt{n}})$$
   （2）总体方差未知
   $$\frac{\sqrt{n}(\overline{X}-\mu )}{S}\to t(n-1)$$
   $$(\overline{X}-t_{\alpha /2}(n-1)\frac{S}{\sqrt{n}},\overline{X}+t_{\alpha /2}(n-1)\frac{S}{\sqrt{n}})$$
4. 正态总体方差的置信区间（${\sigma }^2,1-\alpha$）
   $$\frac{(n-1)S^2}{{\sigma }^2}\to {\chi }^2(n-1)$$
   $$(\frac{(n-1)S^2}{{\chi }_{\alpha /2}^2(n-1)},\frac{(n-1)S^2}{{\chi }_{1-\alpha /2}^2(n-1)})$$
5. 两个正态总体均值差的置信区间（${\mu }_1-{\mu }_2,N({\mu }_1,{\sigma }_1^2)\to n_1,N({\mu }_2,{\sigma }_2^2)\to n_2$）
   $$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\to t(n_1+n_2-2)$$
   $$S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$$
   $$(\overline{X}-\overline{Y}-t_{\alpha /2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}},\overline{X}-\overline{Y}+t_{\alpha /2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}})$$
6. 两个正态总体方差比的置信区间（${\sigma }_1^2/{\sigma }_2^2,1-\alpha$）
   $$\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}\to F(n_1-1,n_2-1)$$
   $$(\frac{S_1^2/S_2^2}{F_{\alpha /2}(n_1-1,n_2-1)},\frac{S_1^2/S_2^2}{F_{1-\alpha /2}(n_1-1,n_2-1)})$$

1.4 其他（置信水平的理解，样本容量对区间长度的影响）

1. 置信水平的理解：如果采用某种方法构造出一个置信水平 0.95 的区间（这个区间的两个端点是统计量的函数），当我们代入 100 次统计量的数据从而得到 100 个区间时，平均有 95 个区间要包含总体参数。
2. 样本容量对区间长度的影响：以 95% 的区间估计为例
   4倍的样本容量，抽样误差才可能缩减一半
   （1）总体比例
   $$2\times 1.96\sqrt{\frac{p_s(1-p_s)}{n}}$$
   （2）方差未知正态总体
   $$2\times t_{0.025}(n-1)\frac{s}{\sqrt{n}}$$
   （3）方差已知正态总体
   $$2\times 1.96\frac{{\sigma }_0}{\sqrt{n}}$$

四、常考题型及解题思路

1. 求参数的矩估计量
2. 求参数的最大似然估计量
3. 频率估计概率的原理求某参数的估计值
4. 求参数，使估计量满足无偏性
5. 求估计量的方差，判断哪个估计量更有效
6. 求置信区间

PDF版本下载