贝叶斯基础理论及思想介绍

   贝叶斯是机器学习的核心方法之一，贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。

    在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大”。

    而一个自然而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测”。这就是所谓的逆概问题。

    现实世界本身就是不确定的，人类的观察能力是有局限性的，我们日常所观察到的只是事物表面上的结果，比如从袋子中取球，我们往往只能知道从里面取出来的球是什么颜色，而并不能直接看到袋子里面实际的情况。这个时候，就需要提供一个猜测。

    朴素贝叶斯是贝叶斯决策理论的一部分。

1、贝叶斯公式：

    条件概率（Conditional probability），就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示。

    贝叶斯公式是用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。

    从上图可以看出：P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。

    解释为：1）在事件B发生的情况下，事件A发生的概率就是P(A∩B)除以P(B)

                 2）在事件A发生的情况下，事件B发生的概率就是P(A∩B)除以P(A)

    如上公式也可变形为：

或者也可以得到P(B|A)的计算，这公式也称为贝叶斯法则。通过已知的三个概率值来计算未知的概率值。

在贝叶斯法则中，每个名词都有约定俗成的名称：

• P(A)是A的先验概率或边缘概率。之所以称"先验"是因为它不考虑任何B方面的因素，即在B事件发生之前，我们对A事件概率的一个判断。

• P(A|B)是已知B发生后A的条件概率，在B事件发生之后，我们对A事件概率的重新评估，也被称作A的后验概率。

• P(B|A)是已知A发生后B的条件概率，也被称作B的后验概率。

• P(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）

• P(B|A)/ P(B)称为"可能性函数"（Likelyhood），这是一个调整因子，使得预估概率更接近真实概率。

• 后验概率=先验概率*调整因子