参数估计

参数估计问题

• 已知一个随机变量的分布函数$X,f_{\theta }(x)$, 其中$\theta =({\theta }_1,\dots ,{\theta }_k)$为未知参数
• 独立样本$X_1,\dots ,X_n$
• 利用独立样本对参数$\theta$做出估计, 或者估计$\theta$的某个函数$g(\theta )$
  • 点估计: 用样本的一个函数$T(X_1,\dots ,X_n)$去估计$g(\theta )$
  • 区间估计: 用一个区间去估计$g(\theta )$

点估计

矩估计

• 矩估计法的基本思想是根据大数定律, 利用样本矩对总体分布矩进行估计
• 然后利用总体矩与参数的关系来对参数进行估计
• 记号:
  • 样本$k$阶矩: $a_k(X)=\frac{1}{n}\sum _{i=1}^n{X}_i^k$ $m_k(X)=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^k$
  • 总体$k$阶矩: $a_k(X)=E(X^k)$ ${\mu }_k(X)=E((X-E(X){)}^k)$

矩估计原理

根据大数定律我们知道, 对于任何随机变量$X$, 当样本数$n\to \infty$时, $\frac{1}{n}\sum _{i=1}^n{X}_i$收敛于$E(X)$, 所以
$$a_1(X)\to {\alpha }_1(X)$$
对于任意的$k$阶矩, 令$Y=X^k$, 那么$Y$也是一个随机变量, 所以同样满足大数定律, 于是
$$a_k(X)=a_1(Y)\to {\alpha }_1(Y)={\alpha }_k(X)$$
而中心矩都可以表示成原点矩的多项式, 所以我们同样有
$$m_k(X)\to {\mu }_k(X)$$

极大似然估计

• 给定随机变量的分布与未知参数, 利用观测到的样本计算似然函数
• 选择最大化似然函数的参数作为参数估计量

极大似然估计基本原理: 最大化似然函数

假设独立样本 { X 1 , … , X n } \{X_1,\ldots,X_n\} {X1​,…,Xn​}服从概率密度函数$f_{\theta }(x)$. 其中$\theta =({\theta }_1,\dots ,{\theta }_k)$是未知参数
当固定$x$的时候, $f_{\theta }(x)$就是$\theta$的函数, 我们把这个函数称为似然函数, 记为$L_x(\theta )$或$L(\theta )$

似然函数不是概率, 但是很类似于概率, 当$\theta$给定的时候, 它是概率密度. 当$x$给定, $\theta$变化的时候, 他就类似于在表示在这个观测量$x$的条件下, 参数等于$\theta$的可能性(不是概率), 起个名字叫做似然函数

假设$x=(x_1,\dots ,x_n)$是样本的预测值, 那么整个样本的似然函数就是
$$L_x(\theta )=\prod _{i=1}^n{L}_{x_i}(\theta )$$
这是一个关于$\theta$的函数, 选取使得$L_x(\theta )$最大化的$(\hat{\theta })$作为$\theta$的估计量
最大似然函数$\theta$, 相当于最大似然函数的对数$l_x(\theta )=\ln (L_x(\theta ))$, 一般我们求解似然函数或者对数似然函数的驻点方程
$$\frac{dl(\theta )}{d\theta }=0,(或者\frac{dL(\theta )}{d\theta }=0)$$
然后判断整个驻点是否最大点(求驻点可以用牛顿法, 或者梯度法等等)

点估计的评判准则

• 相合性(consistency): 当样本数量趋于无穷时, 估计量收敛于参数真实值
• 无偏性(bias): 对于有限的样本, 估计量所符合的分布之期望等于参数真实值
• 有效性(efficiency): 估计值所满足的分布反差越小越好
• 渐进正态性(asymptotic normality): 当样本趋于无穷时, 去中心化去量纲化的估计量符合标准正态分布

相和性

相和性是最基本的要求, 矩估计的相和性是有大数定律来保证的, 极大似然估计的相和性也是隐含的由大数定律来保证的
假设一个随机变量$X$服从$f_{{\theta }_o}(x)$, 最大化$l_x(\theta )$跟最大化$\frac{1}{n}{l}_x(\theta )$是一样的
$$\frac{1}{n}{l}_x(\theta )=\frac{1}{n}\sum _{i=1}^n{l}_{x_i}(\theta )=\frac{1}{n}\sum _{i=1}^n\ln (f_{\theta }(x_i))$$
这个无穷求和就收敛于(大数定律)
$$E(\ln (f_{\theta }(X)))=\underset{x}{\int }\ln (f_{\theta }(x))f_{{\theta }_o}(x)dx$$
而$\hat{\theta }$是$\frac{1}{n}{l}_x(\theta )$的极大值点, 所有$\lim \hat{\theta }$收敛与$E(\ln (f_{\theta }(X)))$的极大值点
也就是说
$$E(ln(f_{\theta }(X)))-E(\ln (f_{{\theta }_o}(X)))\le 0$$
于是${\theta }_o$就是关于$\theta$的函数$E(\ln (f_{\theta }(X)))$的极大值点

无偏性

任何一个满足相合性的参数估计, 当独立样本趋于无穷的时候都会收敛于参数的真实值, 但是对于有限样本的情况下, 这个估计值的期望不见得总等于参数的真实值

有效性

如果两个参数估计量$\hat{\theta }$和$\tilde{\theta }$, 既是相合的又是无偏的, 那么他们两个中方差较小的哪一个比较好, 如果
$$Var(\hat{\theta })\ge Var(\tilde{\theta })$$
那么我们就认为$\tilde{\theta }$比较有效

区间估计

置信区间

置信区间可以认为是点估计的一个扩展. 分为如下步骤

• 找到一个点估计$T$
• 找出一个$T$与$\theta$的函数满足某一个已知的分布$F$
• 利用这个已知的分布$F$的$\alpha /2$分位数, 来求出参数的置信区间

如果这个分布$F$很难找到, 那么还有一种近似的方法

• 找到一个点估计$T$
• 利用渐进正态的性质, 发现$T$在$n$很大的时候满足某种正态分布
• 利用这个已知的正态分布的$\alpha /2$分位数, 来求出参数的置信区间