极大似然估计（MLE）

最新推荐文章于 2024-07-31 08:35:03 发布

Huang___Di

最新推荐文章于 2024-07-31 08:35:03 发布

阅读量5.5k

点赞数

分类专栏：算法文章标签：极大似然估计最大似然估计 MLE

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/Di_Wong/article/details/85281548

版权

算法专栏收录该内容

10 篇文章 1 订阅

订阅专栏

一、原理

极大似然估计方法（Maximum Likelihood Estimate，MLE）也称为最大概似估计或最大似然估计，是求估计的一种方法。

给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参数，即“模型已定，参数未知”。例如，我们知道这个分布是正态分布，但是不知道均值和方差；或者是二项分布，但是不知道均值。最大似然估计就可以用来估计模型的参数。MLE的目标是找出一组参数，使得模型产生出观测数据的概率最大：

$\underset{\theta}{argmax}\: p(X;\theta)$

其中 $p(X;\theta)$ 表示在参数 $\theta$ 下出现观测数据的概率。这里我们假设每个观测数据是独立的，那么有

$L(\theta)=p(x_{1},x_{2},...,x_{n};\theta)=\prod_{i=1}^{n}p(x_{i};\theta)$

这一概率随 $\theta$ 的取值而变化，它是 $\theta$ 的函数，称 $L(\theta)$ 为似然函数。

为了求导方便，一般对目标取log。所以最优化似然函数等同于最优化对数似然函数。

$\underset{\theta}{argmax}\: p(X;\theta)\approx \underset{\theta}{argmax}\: log\: p(X;\theta)$

二、一般步骤

求极大似然函数估计值的一般步骤：

（1）写出似然函数；

（2）对似然函数取对数，并整理；

（3）求导数；

（4）解似然方程。

三、例子

以《统计学习方法》（李航著）一书中求解二元逻辑斯谛回归模型为例（书79页）。

设：

$P(Y=1|x) = \pi (x),\: P(Y=0|x)=1-\pi(x)$

似然函数为

$\prod_{i=1}^{N}[\pi(x_{i})]^{y_{i}}[1-\pi(x_{i})]^{1-y_{i}}$

对数似然函数为

$L(w)=\sum_{i=1}^{N}[y_{i}log\pi(x_{i})+(1-y_{i})log(1-\pi(x_{i}))]$

$=\sum_{i=1}^{N}[y_{i}log\frac{\pi(x_{i})}{1-\pi(x_{i})}+log(1-\pi(x_{i}))]$

$=\sum_{i=1}^{N}[y_{i}(w\cdot x_{i})-log(1+exp(w\cdot x_{i}))]$

对似然函数 L(w) 求极大值，得到的估计值。

这样，问题就变成了以对数似然函数为目标函数的最优化问题。逻辑斯谛回归学习中通常采用的方法是梯度下降法及拟牛顿法优化似然函数。

关注

0
点赞
踩
17

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。