在上一篇文章中,我们提到了最大似然估计法 来在已知样本的情况下求分布的参数。这一次整理一下贝叶斯推断。
1 贝叶斯推断的介绍及公式
贝叶斯推断,据说是推论统计的一种方法,使用贝叶斯定理,能在有更多证据及信息时,更新特定假设的概率。当没有足够多的数据,而又想准确地获取预测信息时,它特别有用,目前我还不清楚为什么在这样的场景下它非常有用,先整理一下与其相关的内容,看看自己能否在这个过程中有更深的理解。
贝叶斯定理:
P ( A ∣ B ) = P ( A ∩ B ) P ( B ) = P ( A B ) P ( B ) = P ( B ∣ A ) ∗ P ( A ) P ( B ) \begin{aligned} P(A|B)=\frac{P(A\cap B)}{P(B)}=\frac{P(AB)}{P(B)}=\frac{P(B|A)*P(A)}{P(B)} \end{aligned} P(A∣B)=P(B)P(A∩B)=P(B)P(AB)=P(B)P(B∣A)∗P(A)
因此,我们可以推导出,参数 θ \theta θ的后验概率为:
Π θ ( t ∣ x ) = f X ( x ∣ t ) ∗ Π θ ( t ) f X ( x ) ( t 为 θ 的 一 个 取 值 ) \begin{aligned} \Pi_\theta(t|x)=\frac{f_X(x|t)*\Pi_\theta(t)}{f_X(x)}(t为\theta 的一个取值) \end{aligned} Πθ(t∣x)=fX(x)fX(x∣t)∗Πθ(t)(<