[贝叶斯一]之贝叶斯理论

一、基本概念

贝叶斯理论是机器学习中一个核心方法，它由英国数学家托马斯贝叶斯在1763年发表的一篇论文中首先提出这个定理。贝叶斯定理是用来度量不确定性事件的，比如今天下雨概率，是一种概率模型。

在介绍贝叶斯理论之前我们先看看统计模式识别（statistical pattern recognition）中的一些概率知识。假设有一组随机数据$X = [x_1, x_2, x_3, ...... x_l]^T \in R^l$，它们属于M个类别 $\Omega = \{w_1, w_2, w_3, ........, w_m \}$. 下面有三个比较常用的概念。

• 首先是类别$w_i$出现的概率，我们称之为先验概率(priori probability)。$p(w_i), i = 1,2,3,4,......M$
• 然后是某个样本属于类别$w_i$的概率，称为后验概率(Posterior probability)：$p(w_i|x),i=1,2,3……M$.
• 最后是似然(Likelihood)： p(x|wi),i=1