贝叶斯公式、先验概率、后验概率、似然

似然（Likelihood）

似然（Likelihood）是指在给定参数的条件下，观察到某一数据的概率。在统计和机器学习中，似然函数用于估计模型参数，使得在这些参数下观察到的样本数据最有可能。

先验概率、似然和后验概率的关系

贝叶斯推理的核心在于结合先验概率和似然来更新我们对某一事件或参数的信念，这就是后验概率。贝叶斯公式揭示了先验概率、似然和后验概率之间的关系：

[ $P(\theta |D)=\frac{P(D|\theta )\cdot P(\theta )}{P(D)}$ ]

其中：

• ($P(\theta |D)$) 是后验概率（Posterior Probability）：在观察到数据 D 之后，参数 ($\theta$) 的概率。
• ( $P(D|\theta )$ ) 是似然（Likelihood）：在参数 ($\theta$) 给定的条件下，观察到数据 D 的概率。
• ( $P(\theta )$ ) 是先验概率（Prior Probability）：在观察到数据 D 之前，参数 ($\theta$) 的概率。
• ( $P(D)$ ) 是证据（Evidence）或边际似然（Marginal Likelihood）：观察到数据 D 的总概率，可以看作是一个归一化常数，确保后验概率的和为1。

例子解释

假设我们有一个论点A和一些注释者的标注数据，我们想知道论点A是高质量（1）还是低质量（0）的概率。以下是具体步骤：

1. 先验概率 ( $P(\theta )$ )

这是我们在没有看到当前数据之前，对某一标签的初始信念。例如，我们认为高质量和低质量的论点先验概率均为0.5：

[ $P(\text{高质量})=0.5$ ]
[ $P(\text{低质量})=0.5$ ]

2. 似然 ( $P(D|\theta )$ )

这是在给定标签label条件下，观察到这些标注数据的概率。例如，假设我们有以下标注数据和初始可靠性分数（所有注释者的可靠性分数均为0.5）：

论点ID	注释者1	注释者2	注释者3	注释者4	注释者5
A	1	1	0	1	0

对于高质量标签（1），计算似然：

[ $P(\text{数据}|\text{高质量})=0.5\times 0.5\times (1-0.5)\times 0.5\times (1-0.5)=0.03125$ ]

对于低质量标签（0），计算似然：

[ $P(\text{数据}|\text{低质量})=(1-0.5)\times (1-0.5)\times 0.5\times (1-0.5)\times 0.5=0.03125$ ]

3. 证据 ( $P(D)$ )

这是观察到当前数据的总概率，通过对所有可能标签的似然和先验概率加权平均得到：

[ $P(D)=P(D|\text{高质量})\times P(\text{高质量})+P(D|\text{低质量})\times P(\text{低质量})$ ]

[ $P(D)=0.03125\times 0.5+0.03125\times 0.5=0.03125$]

4. 后验概率 ( $P(\theta |D)$ )

这是在观察到数据后，对某一标签的更新后的信念：

[ $P(\text{高质量}|\text{数据})=\frac{P(\text{数据}|\text{高质量})\times P(\text{高质量})}{P(D)}=\frac{0.03125\times 0.5}{0.03125}=0.5$ ]

[ $P(\text{低质量}|\text{数据})=\frac{P(\text{数据}|\text{低质量})\times P(\text{低质量})}{P(D)}=\frac{0.03125\times 0.5}{0.03125}=0.5$ ]

总结

• 先验概率：在观察数据之前，我们对某一事件或参数的初始信念。
• 似然：在给定参数的条件下，观察到某一数据的概率。
• 后验概率：在观察数据之后，结合先验概率和似然更新后的信念。

贝叶斯公式将先验概率和似然结合起来，提供了一个更新信念的系统方法，从而得到后验概率。通过这种方式，我们可以在有新数据时不断更新和改进我们的模型和预测。