《贝叶斯定理简介》21-1贝叶斯定理的概率分布形式归一化后验分布的分母∫L(θ∣X)π(θ)dθ详解

本文链接：https://blog.csdn.net/u013172930/article/details/144010246

公式 $\int L(\theta|X)\pi(\theta)d\theta$ 是贝叶斯定理中非常重要的一部分，它出现在贝叶斯公式的分母中，用于 归一化后验分布。以下是对这个公式的详细讲解，包括其背景、作用、数学性质以及实际应用。

贝叶斯定理的分布形式：
$\pi(\theta|X) = \frac{L(\theta|X) \pi(\theta)}{\int L(\theta|X) \pi(\theta) d\theta}$

积分含义：
- 公式 $\int L(\theta|X)\pi(\theta)d\theta$ 是对所有可能的参数值 $\theta$ 求和（连续情况下为积分）。
- 它表示 数据 $X$ 的边际概率（ $P (X)$ ），即：
  $\int L(\theta|X) \pi(\theta) d\theta$
作用：
- 归一化：确保后验分布 $\pi(\theta|X)$ 是一个合法的概率分布，其积分为 1。
  $\int \pi(\theta|X)d\theta = 1$

表示在参数值为 $\theta$ 时，观察到数据 $X$ 的概率。
作用：反映数据对参数 $\theta$ 的支持程度。
例子：在抛硬币问题中，若观察到正面次数为 $k$ ，似然函数为：
$L(\theta|X) = \binom{n}{k} \theta^k (1-\theta)^{n-k}$

归一化后验分布：
- 后验分布 $\pi(\theta|X)$ 是通过贝叶斯定理计算的，需要归一化以保证其合法性（积分为 1）。
- 分母 $\int L(\theta|X)\pi(\theta)d\theta$ 就是归一化因子。
比较模型的优劣：
- 在模型选择中，可以通过边际似然比较不同模型的优劣。
- 例如，在贝叶斯模型选择中，较高的 $\int L(\theta|X)\pi(\theta)d\theta$ 值表示模型对数据的解释能力更强。
预测新数据：
- 用于计算预测分布：
  $P(X_{\text{new}}|X) = \int P(X_{\text{new}}|\theta) \pi(\theta|X) d\theta$

假设我们进行了一次抛硬币实验，观察到 $n$ 次试验中正面出现了 $k$ 次。目标是通过贝叶斯公式更新对硬币正面概率 $\theta$ 的信念。

似然函数：
$L(\theta|X) = \binom{n}{k} \theta^k (1-\theta)^{n-k}$
先验分布（假设均匀分布）：
$\pi(\theta) = 1 \quad \text{（$\theta \in [0,1]$）}$
边际似然（归一化因子）：
$\int L(\theta|X)\pi(\theta)d\theta = \int_0^1 \binom{n}{k} \theta^k (1-\theta)^{n-k} d\theta$
这是 Beta 分布的归一化常数，结果为：
$\int L(\theta|X)\pi(\theta)d\theta = \binom{n}{k} \frac{k!(n-k)!}{(n+1)!}$
后验分布：
$\pi(\theta|X) = \frac{L(\theta|X)\pi(\theta)}{\int L(\theta|X)\pi(\theta)d\theta}$
代入后得到：
$\pi(\theta|X) = \text{Beta}(k+1, n-k+1)$