参数点估计

点估计

---

1 点估计

在数理统计中，总体分布未知，因此参数也是未知的。即使总体分布情形已知，由于难以观测到总体中所有个体，也无法精确得到总体参数的具体取值。总体分布的未知参数称为总体参数。例如$X\sim N(\mu ,{\sigma }^2)$存在两个未知参数。总体参数的取值存在限制，将总体参数取值范围称为参数空间，记作$\Theta$。

基于样本数据估计总体的参数有两种方式，一种是点估计，另一种是区间估计，区间估计前面推文已经阐述。这里对点估计进行阐述。点估计是指依据样本估计总体参数的某个值，具体做法就是基于样本数据$X_1,X_2\dots X_n$构造某个函数$h(X_1,X_2\dots X_n)$,并用这个函数$h$来估计总体参数$\theta$。其中函数$h$称为统计量，它是关于样本观测的函数，不含任何未知参数。显然统计量$h$也是随机变量，因为它是关于$n$维随机变量$(X_1,X_2\dots X_n)$的函数。使用统计量的某个函数$g(h)$对总体参数$\theta$进行表示，$g(h)$称为$\theta$的估计量。某一次抽样得到的具体观测$X_1=x_1,X_2=x_2\dots X_n=x_n$可以计算出统计量$h$的具体的值，进而得到参数$\theta$的具体估计值$g(h)$，记作$\hat{\theta }(x_1,x_2,\dots x_n)$。常用的点估计包括矩估计和极大似然估计。

---

2 矩估计

矩估计是指用样本矩替换总体矩，进而对总体未知参数进行估计。例如使用样本均值代替总体期望，使用样本$k$阶原点矩替换总体$k$阶原点矩，使用样本$k$阶中心矩替换总体$k$阶中心矩等。
$$\frac{1}{n}\sum _{i=1}^n{x}_i\to E(X);\frac{1}{n}\sum _{i=1}^n{x}_i^k\to E(X^k);\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x}{)}^k\to E((X-E(X){)}^k)$$
例如，为估计样本方差，使用方差计算公式
$$D(X)=E(X^2)-(EX{)}^2$$
将公式右端替换为对应的样本矩，则方差估计为
$${\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n{X}_i^2-\bar{X}=\frac{1}{n}\sum _{i=1}^n{\left(X_i-\bar{X}\right)}^2$$

---

例：已知随机扰动项$\epsilon \sim N(0,{\sigma }^2)$,$Y=a+bX+\epsilon$，且$cov(X,\epsilon )=0$，使用矩方法求估计量$a,b$。

已知$\epsilon \sim N(0,{\sigma }^2)$，因此$E(\epsilon )=0$，第一个矩方程：
$$E(Y-a-bX)=0\Rightarrow E(Y)=a+bE(X)$$
使用样本矩替换总体矩得到
$$\frac{1}{n}\sum _{i=1}^n{y}_i=a+b\frac{1}{n}\sum _{i=1}^n{x}_i$$
或者
$$\bar{y}=a+b\bar{x}$$

---

该矩方程包括两个未知量$a,b$，因此至少还要寻找一个矩方程才可识别$a,b$。$cov(X,\epsilon )=0$表明$X$和$\epsilon$不相关，则根据协方差计算公式
$$\begin{array}{rl}cov(X,\epsilon )=& E(X\epsilon )-E(X)E(\epsilon )\\ =& E(X\epsilon )=E(X(Y-a-bX))\\ =& E(XY)-aE(X)-bE(X^2)=0\end{array}$$
于是得到第二个样本矩方程
$$\bar{x}a+b\frac{1}{n}\sum _{i=1}^n{x}_i^2=\frac{1}{n}\sum _{i=1}^n{x}_i{y}_i$$

---

联立上述两个矩方程求解出$a,b$
$$b=\frac{\frac{1}{n}\sum x_i{y}_i-\bar{x}\bar{y}}{\frac{1}{n}\sum x_i^2-{\bar{x}}^2}=\frac{\sum (x-\bar{x})(y-\bar{y})}{\sum (x-\bar{x}{)}^2}=\frac{cov(x,y)}{var(x)}$$

$$a=b\bar{x}-\bar{y}$$

上述结果表明，如果没有条件$cov(X,\epsilon )=0$，无法识别$a,b$，其中条件$cov(X,\epsilon )=0$表明$X$不存在内生性。

---

3 极大似然估计

设$(X_1,X_2\dots X_n)$是来自$X$总体的一个样本，$X_i$的概率密度为$f(x_i,\theta )$,其中$\theta$是总体分布的参数，$\theta \in \Theta$。假设随机变量$X_i$满足独立特性，即$X_i$服从独立同分分布，则$n$维随机变量$(X_1,X_2\dots X_n)$联合概率密度函数为、
$$L\left(\theta ;x_1,\cdots ,x_n\right)=\prod _{i=1}^{n}f\left(x_i;\theta \right),\theta \in \Theta$$
当$X$为离散型，

$$L(\theta )=\prod _{i=1}^{n}f\left(x_i;\theta \right)=P\left(X_1=x_1,\cdots ,X_n=x_n\right)$$
如果存在$\hat{\theta }=\hat{\theta }(x_1,x_2\dots x_n)$，使得$L(\theta )$的值最大，即联合概率密度函数值最大，则称$\hat{\theta }=\hat{\theta }(x_1,x_2\dots x_n)$为$\theta$的一个极大似然估计值，$\hat{\theta }=\hat{\theta }(X_1,X_2\dots X_n)$是$\theta$的极大似然估计量。

😀极大似然估计认为：给定什么样的总体参数，使当前抽取的样本的概率最大；为点估计总体参数，最大化样本联合概率密度函数(极大似然函数)来解估计总体参数。

😋矩估计的思想：随着样本容量增加，样本矩将概率收敛到总体矩，因此使用样本矩来替换总体矩，通过构建矩方程来求解估计总体未知参数。

---

为求解估计总体参数$\theta$,对极大似然函数取对数得到
$$\ln L\left(\theta ;x_1,\cdots ,x_n\right)=\sum _{i=1}^{n}f\left(x_i;\theta \right),\theta \in \Theta$$
最大化$\ln L$，计算$\ln L$关于参数$\theta$的梯度，并等于0
$${\nabla }_{\theta }\ln L\left(\theta ;x_1,\cdots ,x_n\right)=0$$
进而求解出关于总体参数的各估计量$({\hat{\theta }}_1\dots {\hat{\theta }}_k)$。

---

例：设$X_i\sim N(\mu ,{\sigma }^2),i=1,\dots n$，$\mu \in R$,${\sigma }^2>0$，用极大似然方法估计$\mu ,{\sigma }^2$。

第一步：写出极大似然函数
$$L\left(\mu ,{\sigma }^2\right)={\left(2\pi {\sigma }^2\right)}^{-\frac{n}{2}}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{\left(x_i-\mu \right)}^2\right\}.$$
取对数化简
$$\ln L\left(\mu ,{\sigma }^2\right)=-\frac{n}{2}\ln (2\pi )-\frac{n}{2}\ln {\sigma }^2-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{\left(x_i-\mu \right)}^2.$$
第二步：对各总体参数求导
$$\{\begin{array}{l}\frac{\partial }{\partial \mu }\ln L\left(\mu ,{\sigma }^2\right)=\frac{1}{{\sigma }^2}{\sum }_{i=1}^n\left(x_i-\mu \right)=0,\\ \\ \frac{\partial }{\partial {\sigma }^2}\ln L\left(\mu ,{\sigma }^2\right)=-\frac{n}{2{\sigma }^2}+\frac{1}{2{\sigma }^4}{\sum }_{i=1}^n{\left(x_i-\mu \right)}^2=0,\end{array}$$
计算得到
$$\mu =\bar{x},{\sigma }^2=\frac{1}{n}\sum _{i=1}^n{\left(x_i-\bar{x}\right)}^2=s_n^2$$

---

参考书籍：《概率论与数理统计》，上海：同济大学出版社，2015

---

-END-