极大似然估计原理解析

最新推荐文章于 2024-06-05 20:22:59 发布

进击的路飞桑

最新推荐文章于 2024-06-05 20:22:59 发布

阅读量2.3w

点赞数 4

分类专栏：机器学习

机器学习专栏收录该内容

11 篇文章 1 订阅

订阅专栏

本文转载自《知行流浪》的CSDN 博文，感谢大牛的付出，特此收纳，以表敬意。
原文连接：https://blog.csdn.net/zengxiantao1994/article/details/72787849

贝叶斯决策

首先来看贝叶斯分类，我们都知道经典的贝叶斯公式：

$p(w|x)=\frac{p(x|w)p(w)}{p(x)}$

其中：p(w)为先验概率，表示每种类别分布的概率；类p(x|w)为条件概率，表示在某种类别前提下，某事发生的概率；而p(w|x)为后验概率，表示某事发生了，并且它属于某一类别的概率，有了这个后验概率，我们就可以对样本进行分类。后验概率越大，说明某事物属于这个类别的可能性越大，我们越有理由把它归到这个类别下。

我们来看一个直观的例子，已知：在夏季，某公园男性穿凉鞋的概率为1/2，女性穿凉鞋的概率为2/3，并且该公园中男女比例通常为2:1，问题：若你在公园中随机遇到一个穿凉鞋的人，请问他的性别为男性或女性的概率分别为多少？

从问题看，就是上面讲的，某事发生了，它属于某一类别的概率是多少？即后验概率。

设：w1=男性，w2=女性，x=穿凉鞋

由已知可得：

先验概率 $p( w_{1})=2/3$ ， $p( w_{2})=1/3$

类条件概率 $p(x\mid w_{1})=1/2$ ， $p(x\mid w_{2})=2/3$
男性和女性穿凉鞋相互独立，所以:

$p( x)=$ $p(x\mid w_{1})$ $p( w_{1})$ + $p(x\mid w_{2})$ $p( w_{2})=5/9$

由贝叶斯公式算出：

$p(w_{1}\mid x)=\frac{p(x\mid w_{1})p(w_{1})}{p(x)}=\frac{1/2*2/3}{5/9}=3/5$

$p(w_{2}\mid x)=\frac{p(x\mid w_{2})p(w_{2})}{p(x)}=\frac{2/3*1/3}{5/9}=2/5$

问题引出

但是在实际问题中并不都是这样幸运的，我们能获得的数据可能只有有限数目的样本数据，而先验概率 $p( w_{i})$ 和类条件概率(各类的总体分布) $p(x\mid w_{i})$ 都是未知的。根据仅有的样本数据进行分类时，一种可行的办法是我们需要先对先验概率和类条件概率进行估计，然后再套用贝叶斯分类器。

先验概率的估计较简单，1、每个样本所属的自然状态都是已知的（有监督学习）；2、依靠经验；3、用训练样本中各类出现的频率估计。

类条件概率的估计非常难，原因包括：概率密度函数包含了一个随机变量的全部信息；样本数据可能不多；特征向量x的维度可能很大等等。总之要直接估计类条件概率的密度函数很难。解决的办法就是，把估计完全未知的概率密度 $p(x\mid w_{i})$ 转化为估计参数。这里就将概率密度估计问题转化为参数估计问题，极大似然估计就是一种参数估计方法。当然了，概率密度函数的选取很重要，模型正确，在样本区域无穷时，我们会得到较准确的估计值，如果模型都错了，那估计半天的参数，肯定也没啥意义了。

重要前提

上面说到，参数估计问题只是实际问题求解过程中的一种简化方法（由于直接估计类条件概率密度函数很困难）。所以能够使用极大似然估计方法的样本必须需要满足一些前提假设。

重要前提：训练样本的分布能代表样本的真实分布。每个样本集中的样本都是所谓独立同分布的随机变量，且有充分的训练样本。

极大似然估计（MLE，Maximum Likelihood Estimation）

极大似然估计的原理，用一张图片来说明，如下图所示：

总结起来，最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

原理：极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

由于样本集中的样本都是独立同分布，可以只考虑一类样本集D，来估计参数向量θ。记已知的样本集为：
$D=\left \{ x_{1},x_{2},...,x_{n}\right \}$

似然函数（linkehood function）：联合概率密度函数 $p(D\mid \theta )$ 称为相对于 $\left \{ x_{1},x_{2},...,x_{n}\right \}$ 的θ的似然函数。

$l(\theta )=p(D\mid \theta )=p(x_{1},x_{2},...,x_{n}\mid \theta )=\prod_{i=1}^{n}p(x_{i}\mid \theta )$

如果 $\hat{\theta }$ 是参数空间中能使似然函数 $l(\theta )$ 最大的θ值，则 $\hat{\theta }$ 应该是“最可能”的参数值，那么 $\hat{\theta }$ 就是θ的极大似然估计量。它是样本集的函数，记作：

$\hat{\theta }=d(x_{1},x_{2},...,x_{n})=d(D)$

$\hat{\theta }(x_{1},x_{2},...,x_{n})$ 称作极大似然函数的估计值

求解极大似然函数（需要先熟记对数运算法则及求导法则）

ML估计：求使得出现该组样本的概率最大的θ值。

$\hat{\theta }=arg\underset{\theta}{max} l(\theta )=arg\underset{\theta}{max}\prod_{i=1}^{n}p(x_{i}\mid \theta )$

实际中为了便于分析，定义了对数似然函数：

$H(\theta )=lnl(\theta )$

$\tiny \hat{\theta }=arg\underset{\theta}{max} H(\theta )=arg\underset{\theta}{max} lnl(\theta )=arg\underset{\theta}{max}ln\prod_{i=1}^{n}p(x_{i}\mid \theta )=arg\underset{\theta}{max}\sum_{i=1}^{n}lnp(x_{i}\mid \theta )$

1. 未知参数只有一个（θ为标量），在似然函数满足连续、可微的正则条件下，极大似然估计量是下面微分方程的解：

$\frac{dl(\theta )}{d(\theta )}=0\Leftrightarrow \frac{dH(\theta )}{d(\theta )}=\frac{dlnl(\theta )}{d(\theta )}=0$

2.未知参数有多个（θ为向量），则θ可表示为具有S个分量的未知向量：

$\theta =\left [ \theta_{1},\theta_{2},...,\theta_{s}\right ]^{T}$

记梯度算子：

$\triangledown _{\theta} =\left [ \frac{\partial }{\partial \theta_{1}},\frac{\partial }{\partial \theta_{2}},...,\frac{\partial }{\partial \theta_{s}}\right ]^{T}$

若似然函数满足连续可导的条件，则最大似然估计量就是如下方程的解：

$\triangledown _{\theta} H(\theta )=\triangledown _{\theta} lnl(\theta )=\sum_{i=1}^{n}\triangledown _{\theta} lnp(x_{i}\mid \theta )=0$

方程的解只是一个估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。

极大似然估计的例子

例1：设样本服从正态分布 $N(u,\sigma ^{2})$ ，则似然函数为：

$L(u,\sigma ^{2})=\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi }\sigma }e^{-\frac{(x_{i}-u)^{2}}{2\sigma ^{2}}}=(2\pi \sigma ^{2})^{-\frac{n}{2}}e^{-\frac{1}{2\sigma ^{2}}\sum_{i=1}^{n}(x_{i}-u)^{2}}$

它的对数：

$lnL(u,\sigma ^{2})=-\frac{n}{2}ln(2\pi )-\frac{n}{2}ln(\sigma ^{2})-\frac{1}{2\sigma ^{2}}\sum_{i=1}^{n}(x_{i}-u)^{2}$

求导，得方程组：

$\frac{\partial lnL(u,\sigma ^{2})}{\partial u} =\frac{1}{\sigma ^{2}}(\sum_{i=1}^{n}x_{i}-nu)=0$

$\frac{\partial lnL(u,\sigma ^{2})}{\partial \sigma ^{2}} =-\frac{n}{2\sigma ^{2}}+\frac{1}{2\sigma ^{4}}\sum_{i=1}^{n}(x_{i}-u)^{2}=0$

联合解得：

$u^{*}=\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_{i}$ $\sigma ^{*2}=\frac{1}{n}\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}$

似然方程有唯一解 $(u^{*},\sigma ^{*2})$ ：，而且它一定是最大值点，这是因为当 $\left | u \right |\rightarrow \infty$ 或 $\sigma ^{2}\rightarrow \infty$ 或0时，非负函数 $L(u,\sigma ^{2})\rightarrow \infty$ 。于是 $u$ 和 $\sigma ^{2}$ 的极大似然估计为 $(u^{*},\sigma ^{*2})$ 。

例2：设样本服从均匀分布[a, b]。则X的概率密度函数：

对样本 $D=\left \{ x_{1},x_{2},...,x_{n}\right \}$ ：

很显然，L(a,b)作为a和b的二元函数是不连续的，这时不能用导数来求解。而必须从极大似然估计的定义出发，求L(a,b)的最大值，为使L(a,b)达到最大，b-a应该尽可能地小，但b又不能小于 $max\left \{ x_{1},x_{2},...,x_{n}\right \}$ ，否则，L(a,b)=0。类似地a不能大于 $min\left \{ x_{1},x_{2},...,x_{n}\right \}$ ，因此，a和b的极大似然估计为：

$a^{*}=min\left \{ x_{1},x_{2},...,x_{n}\right \}$

$b^{*}=max\left \{ x_{1},x_{2},...,x_{n}\right \}$

总结

求最大似然估计量的一般步骤：

（1）写出似然函数；

（2）对似然函数取对数，并整理；

（3）求导数；

（4）解似然方程。

最大似然估计的特点：

1.比其他估计方法更加简单；

2.收敛性：无偏或者渐近无偏，当样本数目增加时，收敛性质会更好；

3.如果假设的类条件概率模型正确，则通常能获得较好的结果。但如果假设模型出现偏差，将导致非常差的估计结果。

进击的路飞桑

关注

4
点赞
踩
59

收藏

觉得还不错? 一键收藏
0
评论
极大似然估计原理解析

本文转载自《知行流浪》的CSDN 博文，感谢大牛的付出，特此收纳，以表敬意。原文连接：https://blog.csdn.net/zengxiantao1994/article/details/72787849 贝叶斯决策首先来看贝叶斯分类，我们都知道经典的贝叶斯公式：其中：p(w)为先验概率，表示每种类别分布的概率；类p(x|w)为...
复制链接

扫一扫