【机器学习】贝叶斯参数估计法

最新推荐文章于 2024-10-10 17:04:08 发布

置顶

菜小白—NLP

最新推荐文章于 2024-10-10 17:04:08 发布

阅读量4k

点赞数 8

分类专栏： ML

本文链接：https://blog.csdn.net/ACM_hades/article/details/92667431

版权

本文详细介绍了贝叶斯参数估计法，包括最大后验估计的原理、损失函数、共轭分布（如Gamma和Beta分布）的概念及其应用。通过具体例子展示了如何利用泊松分布和Gamma先验进行参数估计，最后探讨了不同损失函数下贝叶斯风险的最小化策略。

摘要由CSDN通过智能技术生成

一、贝叶斯参数估计

前导篇：【机器学习】最大似然估计与最大后验估计
这里先回顾一下最大后验估计法：
- 最大后验估计法，通过最大化参数 $θ$ 的后验分布来求出估计参数 $\hat{θ}$ : $\hat{θ}=arg\max_θ⁡P(θ|x)=arg\max_θ⁡P(x|θ)*P(θ)$
- 现在我们分析分析后验分布 $P (θ ∣ x)$ ： $P(θ|x)=\frac{P(x|θ)*P(θ)}{P(x)}$ $P (x)$ 为常数，对优化问题不影响，所以可以记作： $P (θ ∣ x) = P (x ∣ θ) * P (θ)$
- $P (x ∣ θ)$ 为样本的概率分布， $P (θ)$ 为参数 $θ$ 的先验分布。我们将样本 $x$ 带入后： $P (θ ∣ x)$ 就是一个 $θ$ 的概率分布，即 $θ$ 后验分布。既然它是一个概率分布，我们可以简单的把它理解为一个概率密度函数 $f (θ)$ ，即 $f (θ) = P (θ ∣ x)$ ，最大后验估计法就是用该函数 $(f (θ))$ 的最大值点作为我们估计的参数: $\hat{θ}$
贝叶斯参数估计法是最大后验估计法的加强版：
- 先引入损失函数： $L (θ, a)$ ,这个地方对于损失函数中变量的含义，很多博客和资料说法都不一致，这里只是根据个人理解给出中间两个变量的含义：
  - $θ$ ：是后验分布的随机变量， $θ$ 的分布函数为： $f (θ) = P (θ ∣ x)$
  - $a$ ：也是一个随机变量，也可以理解为一个普通自变量，最后用 $a$ 来估计贝叶斯参数估计法得出的 $\hat{θ}$ 。
- 参数的后分布 $P (θ ∣ x)$ 还有一个含义:原本参数 $θ$ 是服从先验分布 $P (θ)$ 的，当我们获得样本数据 $x$ 后，将样本数据的以下统计信息加入到 $θ$ 分布中后， $θ$ 变成服从后验验分布 $P (θ ∣ x)$ 的随机变量了。
- 现在假设我们有了样本数据 $X$ ，和损失函数 $L (θ, a)$ 。
  - 首先我们将样本信息加入到 $θ$ 分布中，得到 $θ$ 当前服从的后验分布 $P (θ │ x)$ 。
  - 得到了参数 $θ$ 当前的概率分布 $P (θ │ x)$ 后，我们就可以计算损失函数 $L (θ, a)$ 相对参数 $θ$ 的数学期望了： $E_θ (L(θ,a))=∫L(θ,a)P(θ│x)dθ$ 这是一个a的函数叫做：贝叶斯风险
  - 最后贝叶斯参数估计法通过最小化贝叶斯风险得到最后的参数估计值 $\hat{θ}$ ，即： $\hat{θ}=arg\min_a⁡E_θ (L(θ,a))$
贝叶斯参数估计法步骤：
- 第一步：计算后验分布 $P (θ │ x)$ ： $P(θ│x)=\frac{P(x│θ)*P(θ)}{P(x)}$
- 第二步：计算贝叶斯风险： $E_θ (L(θ,a))=∫L(θ,a) P(θ|x)dθ$