最大似然估计的缺陷 —— 方差和均值的 bias

0. 均匀分布期望的最大似然估计

首先我们来看，如何通过最大似然估计的形式估计均匀分布的期望。均匀分布的概率密度函数为：$f(x|\theta)=\frac1{\theta}, 0\le x\le \theta$。不失一般性地，将 $x_1, x_2,\ldots,x_n$ 排序为顺序统计量：$x_{(1)}\leq x_{(2)}\leq \cdots \leq x_{(n)}$。则根据似然函数定义，在此样本集合上的似然函数为：

$$L\left(\theta|{\bf x}\right) = \prod^n_{i=1}\frac{1}{\theta}=\theta^{-n}\,\,\,\,\,(*)$$

对 $x_{(1)}\geq 0, x_{(n)}\leq \theta$，否则为 0。然后求其对数形式关于 $\theta$ 的导数：

$$\frac{\text{d}\ln L\left(\theta|{\bf x}\right)}{\text{d}\theta}=-\frac{n}{\theta}<0.$$

导数小于 0，因此可以说 $L(x|\theta)$ 是单调减函数 $\theta\geq x_{(n)}$，因此当 $\theta=x_{(n)}$（$\theta$ 能取到的最小值），也即 $\theta=\max\{x_1, x_2, \ldots, x_n\}$ 时，$L(x|\theta)$ 值最大，则关于 $\theta$ 的最大似然估计为：

$$\hat \theta=x_{(n)}=\max\{x_1, x_2, \ldots, x_n\}$$

1. 方差的有偏估计（biased estimation）

How to understand that MLE of Variance is biased in a Gaussian distribution?

2. 均值的有偏估计（biased estimation）

Is there an example where MLE produces a biased estimate of the mean?

$[0, \theta]$ 区间上的均匀分布为例，独立同分布地采样样本 $x_1, x_2, \ldots, x_n$，我们知均匀分布的期望为：$\frac\theta2$。

由第一部分知，该均匀分布期望的最大似然估计为：$\max\{x_1, x_2, \ldots,x_n\}/2$，显然有：

$$P(\max \lt \theta)=1$$

所以有：$\operatorname{E}({\max}/2)<\theta/2.$