关于参数估计

虽然非计算机专业，但因为一些原因打算学习西瓜书，可由于长时间没有碰过概率统计的知识，有所遗忘。所以特意重新复习了一遍类似的知识，写在这里权当总结。主要参考《概率论与数理统计》(陈希孺)。

参数估计就是根据样本推断总体的均值或者方差、或者总体分布的其他参数。可以分两种，一种是点估计(估计一个参数的值)，另一种是区间估计(估计一个参数的区间)。参数估计的方法有多种，各种估计方法得出的结果不一定相同，很难简单的说一个必定优于另一个。

点估计

点估计主要有三种方法：矩估计、最大似然估计、贝叶斯估计。

矩估计

定义$k$ 阶样本原点矩为

$$a_k=\frac{1}{n}\sum^n_{i=1}X_i^k$$ 若 $k=1$则原点矩显然就是样本均值 $\bar{X}$；再定义 $k$ 阶样本 中心矩为
$$m_k=\frac{1}{n}\sum^n_{i=1}(X_i-\bar{X})^k.$$
另一方面，总体分布设为

$$f(x;\theta_1,\theta_2,...,\theta_k)$$
则有 $m$阶原点矩 $$\alpha_m=\int x^mf(x;\theta_1,\theta_2,...,\theta_k){\rm d}x.$$
矩估计的思想就是：令样本 $k$ 阶矩等于总体 $k$ 阶矩，得到一组方程，由此 反解出 $\{\theta_i\}$.
一般原则是要求解 $n$个参数，就选 $n$个最低阶的矩，令它们相等并反解。

例题：设$X_1,...,X_n$为区间 $[\theta_1,\theta_2]$ 上均匀分布总体中抽出的$n$个样本，估计出$\theta_1,\theta_2$.
计算出样本中心矩$m_1=\sum_iX_i/n$和$m_2=\sum_iX_i^2/n$.再计算出总体中心矩分别为$\frac{\theta_1+\theta_2}{2}$ 和 $\frac{(\theta_1+\theta_2)^2}{12}$，令它们对应相等，解出来两个 $\theta$ 即可。

极大似然估计

符号同前，样本$(X_1,...,X_n)$的联合概率密度(PDF)为

$$f(x_1;\theta_1,...,\theta_k)f(x_2;\theta_1,...,\theta_k)...f(x_n;\theta_1,...,\theta_k).$$
现在反过来， 固定样本 $\{X_i\}$而把上面PDF看作关于 $\{\theta_i\}$的“密度函数”，加引号是因为实际上 $\{\theta_i\}$是固定参数而非随机变量，这里可以叫做似然函数(likehood, 而非probability)。既然似然函数的 $\{X_i\}$固定，那么可以认为 最可能的 $\{\theta_i\}$ 取值必然是使得似然函数最大的那组取值。也就是说 $\{\theta_i\}$的估计值是使得下面表达式最大的那个值 $$L(X-1,\cdots,X_n;\theta_1,\cdots,\theta_k)=\prod_{i=1}^nf(X_i;\theta_1,\cdots,\theta_k)$$ 上式为累乘，取对数变为求和累加，称为对数似然函数( 因为对数函数也同一点取得最大值) $${\rm ln}L=\sum_{i=1}^n{\rm ln}f(X_i;\theta_1,\cdots,\theta_k)$$ 如果函数性质足够好，用上式分别对 $\{\theta_i\}$求导令其为零，求得驻点再验证极值点和最值点。

例题：设 X1,⋯,Xn