参数的点估计问题

本文摘自 《概率论与数理统计》 陈希孺著 中国科学技术大学出版社
相关链接：
极大似然估计法
矩估计法

参数的点估计问题

设有一个总体统计，以$f(x; \theta_1, \cdots, \theta_n)$记其概率密度函数（若总体分布为连续型的）或其概率函数（如总体分布为离散型的）。我们约定称$f(x; \theta_1, \cdots, \theta_n)$为“总体分布”，其具体含义视其为连续型或离散型而定。这个分布包含$k$个未知数$\theta_1, \cdots, \theta_k$。例如，对正态总体$N(\mu, \sigma^2)$，有$\theta_1 = \mu, \theta_2 = \sigma^2$，而

$f(x; \theta_1, \theta_2) = (\sqrt{2 \pi \theta_2})^{-1}\exp{-\frac{1}{2 \theta_2}}(x - \theta_1)^2 \quad (-\infty < x < \infty)$

若总体有二项分布$B(n, p)$，则$\theta_1 = p$，而

$f(x; \theta_1) = \binom{n}{x} \theta_1^x (1 - \theta_1)^{n - x} \quad (x = 0,1, \cdots, n)$

当$k = 1$时，也就是只有一个参数时，我们用$\theta$取代$\theta_1$。

参数估计问题的一般提法是：设有了从总体中抽出的样本$X_1, \cdots, \X_n$（这样样本是独立随机样本，即$X_1, \cdots, X_n$独立同分布，其公共分布就是总体分布），要依据这些样本去对参数$\theta_1, \cdots, \theta_k$中的一部分，或者估计它们某个已知函数$g(\theta_1, \cdots, \theta_k)$。例如，为了要估计$\theta_1$，我们要构造出适当的统计量$\hat{\theta_1} = \hat{\theta_1}(X_1, \cdots, X_k)$。每当有了样本$X_1, \cdots, X_n$，就带入函数$\hat{\theta_1}(X_1, \cdots, X_k)$中算出一个值，用来作为$\theta_1$的估计值。为着这样的特定目的而够着统计量$\hat{\theta}$叫做$\theta_1$的估计量。由于未知参数$\theta_1$是数轴上的一点，用$\theta_1$去估计$\theta$，等于用一个点去估计另一个点，所以这样的估计叫做点估计。
点估计包含三种方法，包括矩估计法、极大似然估计法和贝叶斯估计法。我们将会在下面的博客一一介绍。