贝叶斯学习（一）

贝叶斯学习（一）

一：贝叶斯定理简介：
贝叶斯定理是关于随机事件A和B的条件概率（或边缘概率）的一则定理。其中P(A|B)是在B发生的情况下A发生的可能性。
贝叶斯定理也称贝叶斯推理，早在18世纪，英国学者贝叶斯(1702～1761)曾提出计算条件概率的公式用来解决如下一类问题：假设H[1],H[2]…,H[n]互斥且构成一个完全事件，已知它们的概率P(H[i]),i=1,2,…,n,现观察到某事件A与H[1],H[2]…,H[n]相伴随机出现，且已知条件概率P(A|H[i])，求P(H[i]|A)。

二：贝叶斯简介：
贝叶斯(1701年—1761年) Thomas Bayes，英国数学家。1701年出生于伦敦，做过神父。1742年成为英国皇家学会会员。1761年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献。1763年由Richard Price整理发表了贝叶斯的成果《An Essay towards solving a Problem in the Doctrine of Chances》，对于现代概率论和数理统计都有很重要的作用。贝叶斯的另一著作《机会的学说概论》发表于1758年。贝叶斯所采用的许多术语被沿用至今。

三：贝叶斯公式：
贝叶斯公式为：

四：朴素朴素贝叶斯
朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。

优缺点分析：
优点：
（1） 算法逻辑简单,易于实现
（2）分类过程中时空开销小

缺点：
理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。

公式属性独立的通俗解释：
P（A|B、C、D）=P（A|B）*P（A|C）*P（A|D）
P（B、C、D）=P（B）*P（C）*P（D）
并且|左边（A）表示为结果预测的正反面，例如预测花的品种，(A)就代表品种
|右边（B、C、D）表示花的比较特征，比如花瓣形状，花瓣颜色等

五：半朴素贝叶斯
最常用的策略：假定每个属性仅依赖于其他最多一个属性，称其依赖的这个属性为其超父属性，这种关系称为：独依赖估计（ODE）

通俗解法：
比如有三个特性（（大，小），（高，矮），（胖，瘦）），两个结果（好，坏）
先算（1）P（好)，（2）P（坏）
将（大与胖相联系）
再分别算（3）P（大|好，胖）*p（胖|好，大）*p（高|好）
（4）P（大|不好，胖）*p（胖|不好，大）*p（高|不好）

最后得：
好的概率：（1）* (3)
不好的概率：（2）*（4）