贝叶斯公式的背后

贝叶斯公式对BigData，Machine Learning，Deep Learning中的很多算法起着基础性的作用，但何以一个200年前的公式对现在的技术发生了如此巨大的作用？

 

先来看贝叶斯公式的推导过程。

P(AB)=P(B|A)P(A) = P(A|B)P(B),

So, P(B|A) = P(A|B)P(B) / P(A).

现在让我们假设相互独立的事件B1, B2, ..., Bn. 则对于任意事件Bi, 上面公式仍然适用。具体如下：

P(Bi|A) = P(A|Bi)P(Bi) / P(A)

对P(A)使用全概率公式如下：

P(A) = P(A|B1)P(B1) + P(A|B2)P(B2) + ... + P(A|Bn)P(Bn) = sum(P(A|Bj)P(Bj))

Finally, 最终的贝叶斯公式如下：

P(Bi|A) = P(A|Bi)P(Bi) / sum(P(A|Bj)P(Bj))

 

贝叶斯公式的指导意义。

用贝叶斯在200多年前提出的观点来描述："用客观的信息更新我们关于某事物的最初信念之后，我们会得到一个新的改进了的信念。“ 这句话是符合我们对世界的朴素认识的。那么如何从贝叶斯公式的角度来理解呢?

假设有n个Bi独立事件引起A事件的发生，若这些事件已经发生，那么利用贝叶斯公式可以计算出由事件A导致事件Bi发生的概率。现实生活中我们经常需要这样的应用：假定时间Bi已经发生，我们经常需要知道是由A导致事件Bi发生的概率有多大。