极大似然估计

假设X~B(4,p)，其中参数p未知，X的所有可能取值为0,1,2,3,4，现在抽取三个样本，取值分别为1,2,1，记为事件A，那么p等于多少比较合理呢？

应用概率论的思想，大概率事件发生的可能性比较大，现在事件A发生了，则可以认为A发生的概率比较大。即
P(A)=P(X1=1,X2=2,X3=1)=P(X1=1)P(X2=2)P(X3=1)=96*p^4*(1-p)8
应该比较大。所以使得P(A)取值最大的那个p最合理。这就是极大似然估计的原理。

设$X_1$、$X_2$、…、$X_n$为来自总体$X$的简单随机样本，$x_1$、$x_2$、…、$x_n$为样本观测值，称
$$L(\theta )=\prod _{i=1}^{n}p(x_i;\theta )$$
为参数$\theta$的似然函数。其中$p$为概率密度函数。
参数$\theta$的似然函数$L(\theta )$实际上就是样本$X_1$、$X_2$、…、$X_n$恰好取观测值$x_1$、$x_2$、…、$x_n$的概率。