最大似然估计

首先，要明确最大似然估计的作用。最大似然估计是用来估计参数的，是在已知所有样本数据和样本数据的分布形式的情况下，来估计分布的具体参数的。举个例子，我们知道有数据$(x_1,y_1),(x_2,y_2),\cdots (x_{100},y_{100})$这100组数据满足$y=ax+b$的线性分布，现在要计算$a$和$b$，那么这个过程就是参数估计过程。一定不要弄混了。

最大似然估计的基本思想是，总体$X$是离散型的，且分布律是 P { X = x } = p ( x ; θ ) P\{X=x\}=p(x;\theta) P{X=x}=p(x;θ)，$\theta \in \Theta$的形式是已知的，$\Theta$是$\theta$可能的取值范围。设$X_1,X_2,\cdots ,X_n$是来自总体$X$的样本，因为是独立取样的，所以他们的联合分布概率是
$${\Pi }_{i=1}^{n}p(x_i;\theta ),\theta \in \Theta$$
令
$$L(\theta )=L(x_1,x_2,\cdots ,x_n;\theta )={\Pi }_{i=1}^{n}p(x_i;\theta ),\theta \in \Theta$$
这个概率的取值随着$\theta$变化而变化，$L(x,\theta )$是似然估计函数。那么求出$\theta$最有可能的值的过程就是最大似然估计的过程。最大似然估计的$\theta$必然满足：
$$L(x_1,x_2,\cdots ,x_n;\theta )=ma{x}_{\theta \in \Theta }L(x_1,x_2,\cdots ,x_n;\theta )$$

这样做的理由是，当前一次性取得的$x_1,\cdots ,x_n$肯定是概率最大的一种情况，那么必然要求出$\theta$使得$L(x;\theta )$的值最大，所以这么求解。

假设函数是可微的，那么
$$\frac{d}{d\theta }\ln \Theta =0$$
是一个参数方程，求出参数方程即可。取对数是为了求导计算方便，同时又不失单调性。