极大似然估计

极大似然估计

极大似然估计是一种估计方法，针对该估计方法我们需要考虑的问题有：

• 估计的对象
• 估计的想法
• 估计的理论
• 估计的性质
• 求解的方法

估计的对象

参数估计分为点估计和区间估计，极大似然估计是点估计的一种方法，在已知样本的前提下，用来估计满足这些样本分布的参数，并把可能性最大的那个参数作为真实的参数。

估计的想法

统计的思想就是从样本去推断总体，参数估计就是用样本分布去估计总体的分布，因为样本分布是来自于总体也是最能体现总体特征的，样本的联合分布表示的是随机变量取该样本时的概率，在样本已知的情况下，样本联合分布是关于参数的函数，记其为似然函数，其越大表示随机变量取该样本的概率越大，因为该样本是已经出现的，说明其在总体中出现的概率应该是很大，所以极大似然估计的想法就是估计使出现该样本的可能性达到最大的似然函数，求解该似然函数中的参数，作为真实的参数。
例子：
肺癌和抽烟：样本为肺癌患者，估计参数为是否抽烟。
猎人和学生打猎：样本为命中猎物，估计参数为是学生还是猎人。
一号箱有99个白球和1个黑球，二号箱有99个黑球和1个白球：样本为取出一个球为白球，估计参数为是从一号箱还是二号箱抽取。样本为白球，说明在总体中白球出现的概率是很大的，所以估计出的参数所满足的样本分布中，要使出现白球的概率最大化，所以估计的参数为从一号箱抽取。

估计的理论

见《高等数理统计》

估计的性质

• 不变性

求解的方法

求解极值的一般方法为求导，使其导数为零，再求解该式子。求解算法有：

牛顿迭代法

梯度下降法

还有

EM算法