[数理知识]参数估计：点估计、区间估计及置信区间

---

Preliminaries

了解参数估计，需要知道以下先导知识：

数学期望、方差与协方差

参见：[数理知识]机器学习入门: 概率论与信息论基础 - 数学期望、方差与协方差

常用概率分布及其期望、方差

参见：[数理知识]机器学习入门: 概率论与信息论基础 - 常用概率分布及其期望、方差

---

参数估计问题

参数估计是数理统计中重要的统计推断问题之一。
给定 $x\sim P(x;\theta )$，参数 $\theta$ 控制了 $x$ 的分布“范围”：

• 我们在已知其概率分布模型和一系列随机变量 $x$ 的值之后，试图推测出 $\theta$ 的值；（点估计）
• 在点估计的基础上，从抽样数据的统计计算中可以对其与总体样本的真实参数的接近程度求出一个概率度量，在此概率下给出总体参数估计的一个可信的区间范围。（区间估计）

这类问题就被统称为参数估计问题。

一、大数定律及中心极限定理

在正式开始参数估计之前，需要了解一下其先导知识——大数定律及中心极限定理。

1 切比雪夫不等式(Chebyshev)

设 $x$ 是随机变量，如果其期望 $\mathbb{E}$ 和方差 $Var(x)$ 存在，则 $\forall \epsilon >0$ 有：
$$\frac{Var(x)}{{\epsilon }^2}\ge P(|x-\mathbb{E}|\ge \epsilon )$$

证明：因为 $|x-\mathbb{E}|\ge \epsilon$ 且 $\epsilon \ge 0$ 所以有 $(\frac{|x-\mathbb{E}|}{\epsilon }{)}^2\ge 1$。
设 $x$ 的概率密度函数为 $p(x)$，则有：
$$\begin{array}{rl}P(|x-\mathbb{E}|\ge \epsilon )& ={\int }_{|x-\mathbb{E}|\ge \epsilon }p(x)dx\\ & \le {\int }_{|x-\mathbb{E}|\ge \epsilon }(\frac{|x-\mathbb{E}|}{\epsilon }{)}^{2}p(x)dx\\ & \le {\epsilon }^{-2}{\int }_{-\infty }^{+\infty }(|x-\mathbb{E}|{)}^{2}p(x)dx\\ P(|x-\mathbb{E}|\ge \epsilon )& \le \frac{Var(x)}{{\epsilon }^2}\end{array}$$∴ 原命题得证。

• 显然，$1-\frac{Var(x)}{{\epsilon }^2}\le P(|x-\mathbb{E}|<\epsilon )$。
• 切比雪夫不等式给出了如何在随机变量的分布未知而期望和方差已知的情况下估计$P(|x-\mathbb{E}|\ge \epsilon )$的极限。
• 下文中的切比雪夫大数定律等几个大数定律变形均可由切比雪夫不等式证明得到。

2 大数定律(Law of Large Numbers)

依概率收敛 : 设有随机变量序列 $x_1,x_2,\cdots ,x_n,\cdots$ 对 随机变量 $x$ 使得 $\forall \epsilon >0$ 有：$$\underset{n\to \infty }{\lim }P\left(|x-x_n|\ge \epsilon \right)=0$$则称序列$x_i$依概率收敛于 $x$， 记为 $x_i\stackrel{P}{⟶}x$。

大数定律：设有随机变量序列 $x_1,x_2,\cdots ,x_n,\cdots$ ，其任意划分的互斥组合的期望值从小到大排列为 $a_1,a_2,\cdots ,a_n$ 使得 $\forall \epsilon >0$ 有：
$$\underset{n\to \infty }{\lim }P\left(|\frac{1}{n}\sum _{i=1}^n{x}_i-a_n|\ge \epsilon \right)=0$$或记作：
$$\frac{1}{n}\sum _{i=1}^n{x}_i\stackrel{P}{⟶}{a}_n,n\to \infty$$

Tip：大数定律说明了随机变量序列前若干项的算术平均值在某种条件下收敛到这些项的数学期望。（注意：数学期望 $\mathbb{E}$在概念上不等于算术平均值 $\frac{1}{n}{\sum }_i^n{x}_i$，只有在$x_i$等概率分布时二者等值。）

• 大数定律以严格的数学形式表现了随机事件在足够的广度上的频率稳定性。利用这一性质，我们可以基于抽样样本中的均值来估计整体的均值。

它具有以下几个变形：

• 切比雪夫大数定律 设相互独立的随机变量序列(集合) x 1 , x 2 , ⋯   , x n , ⋯ x_1,x_2,\cdots ,x_n,\cdo