深入理解最大似然估计、最大后验概率估计和贝叶斯公式

最新推荐文章于 2022-02-08 15:45:16 发布

追逐AI的蜗牛

最新推荐文章于 2022-02-08 15:45:16 发布

阅读量451

点赞数

分类专栏：机器学习文章标签：最大似然估计最大后验概率估计贝叶斯公式

本文链接：https://blog.csdn.net/qq_38675397/article/details/108095281

版权

机器学习专栏收录该内容

8 篇文章 2 订阅

订阅专栏

在博客最大似然估计中，通过简单的例子对最大似然估计原理有了一个直观的理解；在博客朴素贝叶斯分类器中，对贝叶斯公式有了一个粗浅的理解，而且我们知道了贝叶斯分类器原理就是最大后验概率估计。这篇博客主要是深入理解最大似然估计、最大后验概率估计、贝叶斯公式的数学原理和它们之间的联系。

基本概念理解

想要搞清楚上述几个原理，首先要弄明白概率、统计、概率函数和似然函数

概率

概率研究的是：模型和参数已知，预测模型产生某结果的概率。

统计

统计研究的和概率正好相反，统计已有数据(采样样本/实验结果)，估计模型和模型的参数。

概率函数

对于函数 $P(x|\theta )$ ， $x$ 表示数据， $\theta$ 表示模型参数。当 $\theta$ 已知 $x$ 为变量时， $P(x|\theta )$ 为概率函数，表示在已知概率分布模型的情况下，变量 $x$ 取不同值的概率(可以理解为产生不同结果的概率)

似然函数

对于函数 $P(x|\theta )$ ，当 $\theta$ 未知 $x$ 已知时， $P(x|\theta )$ 为似然函数，表示对于不同模型参数 $\theta$ ，出现 $x$ 这个数据(结果)的概率

最大似然估计

现在假设 $\theta$ 已知，那么 $P(x_{1}|\theta )$ 表示采样得到数据 $x_{1}$ 的概率，那么采样得到 $x_{1},x_{2}...x_{n}$ 的联合概率就自然表示为： $P(x_{1},x_{2}...x_{n}|\theta )$ ，由于每次采样是互不影响的(产生不同的结果是相互独立)，最终联合概率就可以表示为：

$P(x_{1},x_{2}...x_{n}|\theta )=\prod_{i=1}^{n}p(x_{i}|\theta )$

但问题是 $\theta$ 是未知，只有数据，我们就是要求 $\theta$ ，最大似然估计的思想就是使得似然函数(联合概率)最大，使似然函数最大 $\theta {}'$ 就是 $\theta$ 的最佳估计。

贝叶斯公式

如果将X看做是数据，C看做是模型，那么贝叶斯公式可以表示成：后验概率=似然函数*先验概率。

最大后验概率估计

最大后验概率估计即对 $P(C|X)$ 进行最大估计，而 $P(C|X)$ 难以求解，于是通过贝叶斯公式转换为对 $P(X|C)*P(C)$ 进行最大估计，所以最大后验概率估计=最大似然估计*先验概率

追逐AI的蜗牛

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
深入理解最大似然估计、最大后验概率估计和贝叶斯公式

在博客最大似然估计中，通过简单的例子对最大似然估计原理有了一个直观的理解；在博客朴素贝叶斯分类器中，对贝叶斯公式有了一个粗浅的理解，而且我们知道了贝叶斯分类器原理就是最大后验概率估计。这篇博客主要是深入理解最大似然估计、最大后验概率估计、贝叶斯公式的数学原理和它们之间的联系。基本概念理解想要搞清楚上述几个原理，首先要弄明白概率、统计、概率函数和似然函数概率概率研究的是：模型和参数已知，预测模型产生某结果的概率。统计统计研究的和概率正...
复制链接

扫一扫