一文读懂贝叶斯推理

一、贝叶斯推理

贝叶斯推理（Bayesian Inference）是基于贝叶斯定理的一种统计推理方法，用于更新事件的概率随着新数据的获得，贝叶斯推理通过结合先验知识和新数据来估计未知参数的后验分布。
$$p(Z\mid X)=\frac{p(X\mid Z)p(Z)}{p(X)}$$

• Z表示模型参数。
• X表示观测数据。
• p(Z∣X) 是后验概率，表示给定数据 X 后 Z 的概率分布。
• p(X∣Z) 是似然函数，表示在参数 Z 给定的情况下，数据 X 出现的概率。
• p(Z) 是先验概率，表示在没有观察数据 X 之前对参数 Z 的相信程度。
• p(X)是 X 的边缘概率密度$$p(X)=\int p(X,Z)dZ$$

二、贝叶斯推理的步骤

1. 定义先验分布 p(Z)：根据已有知识或假设，选择一个先验分布来描述参数的初始不确定性。
2. 定义似然函数 p(X∣Z)：根据模型和观测数据，定义似然函数。
3. 计算后验分布 p(Z∣X)：使用贝叶斯定理结合先验分布和似然函数计算后验分布。
4. 进行推断：利用后验分布对参数进行推断，计算感兴趣的统计量（如均值、中位数、置信区间等）。

三、示例

举个简单的例子，假设我们有一个硬币，我们想要估计硬币正面朝上的概率 𝜃
。我们进行了一系列实验，记录了正面朝上的次数 𝑥 和总次数 𝑛 。

1. 定义先验分布
   假设先验分布为 Beta 分布Beta(α,β)，其概率密度函数为：
   $$p(\theta )=\frac{{\theta }^{\alpha -1}(1-\theta {)}^{\beta -1}}{B(\alpha ,\beta )}$$
2. 定义似然函数
   对于二项分布的似然函数：
   $$p(D\mid \theta )={\theta }^x(1-\theta {)}^{n-x}$$
3. 计算后验分布
   使用贝叶斯定理计算后验分布：p(θ∣D)∝p(D∣θ)p(θ)
   结合 Beta 分布的先验和二项分布的似然函数，得到后验分布也是一个 Beta 分布：p(θ∣D)=Beta(α+x,β+n−x)