[推断统计] 点估计-极大似然法学习

一、极大似然原理的理解

      通俗的理解，极大似然原理含义就是，世界上之所以会发生某些事件，是因为它发生的概率大。
      例如有一个博客的例子是：假设引起$X$现象和$Y$现象的原因有$A$和$B$两种。假设：

• 在$A$原因情况下，$X$现象发生的概率远大于$Y$现象发生的概率。
• 在$B$原因情况下，$Y$现象发生的概率远大于$X$发生的概率。
• 那么，假设现在观察到$X$现象，即事件已经是确定的了。此时，原因是$A$还是$B$呢？

      答：实际上$A$和$B$的可能性都存在。但是如果必须要选择一个原因的话，那么可能选择$A$更为稳妥，这种思考方式就是“极大似然原理”。

二、样本的似然函数

      极大似然估计和关于极大似然估计性质的阐述是费希尔的研究成果。费希尔的思想通过下面的例子说明：如果随机选取离散随机变量$Y$的$n$个观测值$y_1,y_2,...,y_n$，如果概率分布$p(y)$是单个参数$\theta$的函数，那么观测到的$Y$的这$n$个独立值的概率是：$$p(y_1,y_2,...,y_n)=p(y_1)p(y_1)\cdots (y_n)$$
      费希尔称样本值$y_1,y_2,...,y_n$的联合概率为$样本的似然函数L$。同时，建议应该选择使$L$达到最大的值作为总体参数$\theta$的估计值。

相关定理：

• 设 $y_1,y_2,...,y_n$表示随机变量$Y$的$n$个观测值的样本，当$Y$是概率分布为$p(y)$的$离散随机变量$时，似然函数$L=p(y_1)p(y_1)\cdots (y_n)$.
• 设 $y_1,y_2,...,y_n$表示随机变量$Y$的$n$个观测值的样本，当$Y$是密度函数为$f(y)$的$连续随机变量$时，似然函数$L=f(y_1)f(y_1)\cdots (f_n)$.

      极大似然估计，就是需要在参数空间$\hat{\theta }=(\widehat{{\theta }_1},\widehat{{\theta }_2},\cdots ,\widehat{{\theta }_n})$中选定一个值，使得“已发生”的事件出现的概率最大。
      那为什么似然函数要取最大值？是因为我们在试验中抽取的样本已经确定了，是发生了的，要使得似然函数尽可能地趋向于1。

三、求解步骤

【结合一个例子】设$y_1,y_2,...,y_n$表示随机变量$Y$的$n$个观测值的随机样本，具有指数密度函数：
$$f(y)=\{\begin{array}{ll}\frac{e^{-y/\beta }}{\beta },& \text{若0≤y≤∞}\\ 0,& \text{其他}\end{array}$$求$\beta$的极大似然估计。
【步骤主要有】

1. 构造极大似然函数$L$；
2. 求使$L$最大的$\hat{\beta }$：由微分学知道，使L达到最大的$\hat{\beta }$值是使$dL/d\theta =0$的值。L是一些含有$\beta$的乘积，因为求一个和的导数要比求一个积的导数容易，所以会到$L$取对数，$L$的对数是$L$的单调增函数。
   下面直接给出过程。