均匀分布（uniform distribution）期望的最大似然估计（maximum likelihood estimation）

maximum estimator method more known as MLE of a uniform distribution

$[0, \theta]$ 区间上的均匀分布为例，独立同分布地采样样本 $x_1, x_2, \ldots, x_n$，我们知均匀分布的期望为：$\frac\theta2$。

首先我们来看，如何通过最大似然估计的形式估计均匀分布的期望。均匀分布的概率密度函数为：$f(x|\theta)=\frac1{\theta}, 0\le x\le \theta$。不失一般性地，将 $x_1, x_2,\ldots,x_n$ 排序为顺序统计量：$x_{(1)}\leq x_{(2)}\leq \cdots \leq x_{(n)}$。则根据似然函数定义，在此样本集合上的似然函数为：

$$L\left(\theta|{\bf x}\right) = \prod^n_{i=1}\frac{1}{\theta}=\theta^{-n}\,\,\,\,\,(*)$$

对 $x_{(1)}\geq 0, x_{(n)}\leq \theta$，否则为 0。然后求其对数形式关于 $\theta$ 的导数：

$$\frac{\text{d}\ln L\left(\theta|{\bf x}\right)}{\text{d}\theta}=-\frac{n}{\theta}<0.$$

导数小于 0，因此可以说 $L(x|\theta)$ 是单调减函数 $\theta\geq x_{(n)}$，因此当 $\theta=x_{(n)}$（$\theta$ 能取到的最小值），也即 $\theta=\max\{x_1, x_2, \ldots, x_n\}$ 时，$L(x|\theta)$ 值最大，则关于 $\theta$ 的最大似然估计为：

$$\hat \theta=x_{(n)}=\max\{x_1, x_2, \ldots, x_n\}$$