极大似然估计

极大似然估计

极大似然的思想来自于统计学界中频率主义学派（Frequentist），该学派认为参数虽然未知， 但却是客观存在的固定值。极大似然估计的做法是：根据已经存在的观测结果，得到观测结果的似然函数（出现观测结果的概率的表达式）$L(Y|\theta )$。其中$Y$表示观测序列，$\theta$表示要估计的参数。

举个抛硬币的例子：假设一枚硬币抛出后， 正面朝上的概率是$p$， 现进行8次试验， 若正面朝上记为$1$，反面朝上记为$0$， 观测结果为$Y=(10110011)$。 求$p$。

出现上述试验结果的概率可表示为： $P(Y|p)=p^5(1-p{)}^3$

所以参数$p$对于观测结果$Y$的似然函数为： $L(p)=P(Y|p)=p^5(1-p{)}^3$

通常， 为了方便进一步处理，会对似然函数取自然对数。既不影响其单调性，还能将式中的连乘和指数运算化简为加法和乘法。所以参数$p$对于观测结果$Y$的对数似然函数为： $LL(p)=log(P(Y|p))=log(p^5(1-p{)}^3)$

此时，参数$p$的极大似然估计$\hat{p}=\arg \underset{p}{\max }LL(p)$

求得结果为$p=\frac{5}{8}$, 与直观经验相符.