最大似然参数估计与贝叶斯参数估计

最新推荐文章于 2021-11-14 19:14:30 发布

jiruiYang

最新推荐文章于 2021-11-14 19:14:30 发布

阅读量1k

点赞数 2

分类专栏：机器学习文章标签：贝叶斯参数估计最大似然估计参数估计机器学习

本文链接：https://blog.csdn.net/jiruiYang/article/details/52994666

版权

本文介绍了最大似然参数估计和贝叶斯参数估计方法，探讨了两者之间的关系。最大似然估计通过最大化似然函数找到最佳参数，而贝叶斯估计则将参数视为随机变量，结合先验知识进行估计。文中还通过简单的一维均匀分布例子进行解释。

摘要由CSDN通过智能技术生成

最大似然参数估计与贝叶斯参数估计

一，贝叶斯判决

$\qquad$ 现有c个类需分类，为{ $\omega_1,\omega_2,...,\omega_c$ },对应的数据集为{ $D_1,D_2,...,D_c$ },样本为 $\mathbf{x}$ ，是一个d维列向量，则依据贝叶斯规则：
$\qquad$ $\qquad$ $\qquad$ $\qquad$ $\qquad$ $P(\omega_i|\mathbf{x})=\frac{p(\mathbf{x}|\omega_i)P(\omega_i)}{\sum_{j=1}^c p(\mathbf{x}|\omega_j)P(\omega_j)}$
按照最大后验概率（MAP）判决规则：判决的类别 $\omega_{out}=arg \underset{\omega_i} maxP(\omega_i|\mathbf{x}$ )
$\qquad$ $P(\omega_i)$ 为先验概率，我们往往很容易就能得到，故还需要知道条件概率密度函数 $p(\mathbf{x}|\omega_i)$ 。通常我们会对 $p(\mathbf{x}|\omega_i)$ 进行建模（如建模成高斯函数），则 $p(\mathbf{x}|\omega_i)$ 的形式是已知的，但是当中还含有参数 $\theta$ ，此时我们将条件密度函数写成 $p(\mathbf{x}|\omega_i,\theta_i)$ 的形式。
$\qquad$ 于是我们现在需要估计当中的参数 $\theta_i$ ，估计方法由最大似然估计法和贝叶斯估计法两种方法，下面将会逐一介绍。
$\qquad$ 而通常我们是用 $D_i$ 来估计 $p(\mathbf{x}|\omega_i,\theta_i)$ ，也就是一个种类下估计该类下的参数 $\theta_i$ ，于是对于该类下的样本来说 $\omega_i$ 都是相同的，那么 $p(\mathbf{x}|\omega_i)$ 可以写成 $p(\mathbf{x})$ 的形式， $p(\mathbf{x}|\omega_i,\theta_i)$ 也可以写成 $p(\mathbf{x}|\theta)$ 的形式。