【统计学】深入理解最大似然估计（MLE， maximum likelihood estimation）

最新推荐文章于 2024-07-15 13:03:24 发布

玉古路38号

最新推荐文章于 2024-07-15 13:03:24 发布

阅读量6.1k

点赞数 3

分类专栏：数学文章标签：最大似然概率论统计学机器学习

本文链接：https://blog.csdn.net/weixin_46318945/article/details/111116685

版权

数学专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1. 前言

最大似然估计就是利用已知的样本结果，在使用某个模型的基础上，反推最有可能导致这样的结果的模型参数。

2. 案例导入

这里我们用一个经典的摸球游戏来阐述最大似然估计在伯努利分布模型上的应用。

假设一个袋子里面装有红球和白球，比例未知，现在我们要抽取10次（每次抽完都放回，保证每次抽取的独立性），假设抽取到了7次白球和3次红球（最大似然估计是“一种模型已经确定，参数未知”基于样本的的参数估计方法）。显而易见，此时样本的白球比例为70%，但如何通过理论的方法推知该袋中最大可能性的白球红球比例呢？一些简单的情况，很容易做出一个推断，如上面的摸球模型，就可以直接根据样本情况估计最有可能袋子里就是7个白球3个红球。但是，在一些复杂的情况下，是很难通过直观的方式获得答案的，这时候理论分析就变得格外重要，这也是最值似然估计要解决的问题。我们可以定义从袋子中连续两次摸球的概率为：

因为θ是未知的，所以我们定义似然L为：

两边取ln，取ln是为了将右边的乘号变成加号，以方便求导。

两边同时取对数，左边通常称为对数似然。

有时，也有上式为平均对数似然。

最大似然估计的过程，就是找到一个合适的theta，使得平均对数似然最大。因此，可以得到以下公式：

这里讨论的是2次采样的情况，当然也可以将其拓展到多次采样的情况：

我们定义M为模型，表示抽到白球的概率为θ，而抽到红球的概率为1-θ，因此10次抽取到白球7次的概率可以表示为：

将其描述为平均似然可得：

那么最大似然就是找到一个合适的θ，获得最大的平均似然。因此我们对平均似然的公式对θ进行求导，并令导数为0.

由此我们可以得到结论，当抽取白球的概率为0.7时，最可能产生10次抽取到白球7次的事件。

3. 理论阐述

假设我们有一个独立同分布的样本 $X = \{x^{t}\}^{_{t=1}^{N}}$ 。假设 $x^{t}$ 是从某个定义在参数θ上的已知概率密度族p(x|θ)中抽取的实例：

$x^{t}$ ~ p(x|θ)

我们希望找出这样的θ，使得 $x^{t}$ 尽可能像是从p(x|θ)抽取的【 l(θ|X) 最大】。因为 $x^{t}$ 是独立的，所以给定参数θ，样本X的似然（likelihood）就是单个点似然的乘积：

l(θ|X) ☰ p(X|θ) = $\prod_{t=1}^{N}p(x^t | \Theta \)$

【这里插一句，如何理解 样本的似然 定义为 基于假设模型下样本的概率 也非常重要】

在最大似然估计中，我们感兴趣的是找到这样的θ，使得X最像是抽取的。因此，我们寻找最大化样本似然的θ，该似然记作 l(θ|X)。我们可以最大化该似然的对数，而不改变取最大值的θ值。log(·）把乘积转换为求和，并且当假定某种密度（例如，包含指数）是进一步简化计算量。对数似然（log likelihood）定义为：

L(θ|X) ☰ log l(θ|X) = $\sum_{t=1}^{N} log p(x^t | \Theta \)$