贝叶斯定理

一、简介

贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率之间的关系。（百度百科）

二、引入事例

老王要去10公里外的一个地方办事，他可以选择走路，骑自行车或者开车，并花费了一定时间到达目的地。在这个事件中，可以把交通方式（走路、骑车或开车）认为是原因，花费的时间认为是结果。
若老王花了一个小时的时间完成了10公里的距离，那么很大可能是骑车过去的，当然也有较小可能老王是个健身达人跑步过去的，或者开车过去但是堵车很严重。若老王一共用了两个小时的时间完成了10公里的距离，那么很有可能他是走路过去的。若老王只用了二十分钟，那么很有可能是开车。这种先知道结果，然后由结果估计原因的概率分布，p(交通方式|时间)，就是后验概率。
老王早上起床的时候觉得精神不错，想锻炼下身体，决定跑步过去；也可能老王想做个文艺青年试试最近流行的共享单车，决定骑车过去；也可能老王想炫个富，决定开车过去。老王的选择与到达目的地的时间无关。先于结果，确定原因的概率分布，p(交通方式)，就是先验概率。
老王决定步行过去，那么很大可能10公里的距离大约需要两个小时；较小可能是老王平时坚持锻炼，跑步过去用了一个小时；更小可能是老王是个猛人，40分钟就到了。老王决定骑车过去，很可能一个小时就能到；较小可能是老王那天精神不错加上单双号限行交通很通畅，40分钟就到了；还有一种较小可能是老王运气很差，连着坏了好几辆共享单车，花了一个半小时才到。老王决定开车过去，很大可能是20分钟就到了，较小可能是那天堵车很严重，磨磨唧唧花了一个小时才到。这种先确定原因，根据原因来估计结果的概率分布，p(时间|交通方式)，就是似然估计。
老王去那个地方好几趟，不管是什么交通方式，得到了一组关于时间的概率分布。这种不考虑原因，只看结果的概率分布，p(时间)，也称：evidence

(该例子来源：知乎）

二、贝叶斯公式

$x$: 观察得到的数据（结果）

$\theta$: 决定数据分布的参数（原因）

$p(\theta )$: prior（先验分布）：反映的是在观测到结果之前对待估计的参数的认识；对应例子中p(交通方式)。
$p(\theta |x)$: posterior（后验分布）：后验分布就是我们通过贝叶斯定理得到的最终的分析结果，反映的是在给定观测数据的基础上，我们对于参数的新的认知。说的更直白一点，就是最开始没有观测数据的时候，我们依据以往的经验赋予了参数一个先验分布，然后来了实际的观测数据之后，我们就对先验进行了更新，得到了这次分析过程的后验分布。
$p(x|\theta )$: likelihood：在确定了参数的情况下，试验数据的概率分布。实际上这就是对实际观测数据的一种描述。
$p(x)$: evidence：边缘概率， 这是一个与我们待估计的参数$\theta$无关的一个边缘概率值。

贝叶斯推断求解过程

首先，贝叶斯推断的起点是未知随机变量$\theta$的先验分布$p\theta$（$\theta$离散）或者$f\theta$（$\theta$连续）。
然后，我们需要确定观测数据$X$的分布模型，他是一个基于随机变量 $\theta$的条件概率：$pX|\theta$​或者$fX|\theta$​。
一旦我们观察到了$X$的一个特定值$x$之后，我们就可以开始运用贝叶斯法则去计算$\theta$的后验分布。

参考：

链接：https://www.zhihu.com/question/24261751/answer/158547500；
https://www.zhihu.com/question/24261751/answer/88663605；