【模式识别、朴素贝叶斯方法】最大似然估计（MLE）、最大后验概率估计（MAP）

最新推荐文章于 2023-03-06 22:29:52 发布

阿珍爱上了阿强binz

最新推荐文章于 2023-03-06 22:29:52 发布

阅读量926

点赞数 2

分类专栏：模式识别文章标签：机器学习算法模式识别朴素贝叶斯算法数据分析

本文链接：https://blog.csdn.net/weixin_49975462/article/details/109172426

版权

本文介绍了模式识别中的最大似然估计（MLE）和最大后验概率估计（MAP）方法。最大似然估计是通过似然函数找到使样本数据最可能出现的模型参数，而最大后验概率估计不仅考虑似然性，还结合参数的先验概率。文章通过实例解释了这两种参数估计方法，并指出它们在实际应用中的意义。

摘要由CSDN通过智能技术生成

引言

贝叶斯公式中依据先验概率 $P(\omega_i)$ 和类条件概率密度 $P(X|\omega_i)$ 求得后验概率。贝叶斯决策论核心思想是非常简单，为了最小化风险，选择后验概率最大的类别（最小化误差概率）来设计最优分类器。但在实际应用中我的能获取的样本数据只有有限条且先验概率以及类条件概率均无法得知。在实际问题中，我们需要根据已有的数据设计出正确的分类器。

一个朴素的想法是利用手中的训练样本来估计问题中涉及到的先验概率及类条件概率密度函数，将该估计值作为实际值设计分类器。在模式识别问题中，估计先验概率吧往往十分容易，而估计类条件概率密度就会困难很多。其原因在于：估计先验概率时，再有监督学习问题中每个样本的类别（标签，自然状态）都是已知的，我们只需要依照经验用样本数据计算各个类别出现的频率并以此作为先验概率即可；估计类条件概率密度函数时，很多情况下我们的样本数据过少，当用于表示特征的向量x维数很大时，会发生很严重的计算复杂度问题。解决方法是把条件概率密度参数化，如果我们事先已知类条件概率密度函数的函数形式以及参数个数且先验知识允许我们把条件概率密度参数化，求解难度就会显著降低。例如，如果我们正确的假设 $P(X|\omega_i)$ 是一个多元正态分布，这样我们就把问题从估计函数简化为估计函数的参数 $\mu_i$ 和 $\Sigma_i$ 。

我们已经将概率密度函数估计问题转化为参数估计问题。参数估计中两种常用且有效的方法是：最大似然估计和贝叶斯参数估计（本文对MLE进行分析）。参数估计问题只是实际问题求解过程中的一种简化方法（由于直接估计类条件概率密度函数很困难），所以使用最大似然估计需要满足一些假设：训练样本的分布能代表样本的真实分布。每个样本集中的样本都是所谓独立同分布的随机变量 (i.i.d)，且有充分的训练样本。