机器学习-贝叶斯学习

机器学习-贝叶斯学习

一：贝叶斯公式及解释：

贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。按照乘法法则，可以立刻导出：P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为：P(A|B)=P(B|A)*P(A)/P(B)。

贝叶斯规则是概率统计中的应用所观察到的现象对有关概率分布的主观判断（即先验概率）进行修正的标准方法。

二：举个例子

我们知道贝叶斯公式之后，我们来解决下面一道问题：

例子：天气预报问题

某地全年365天，晴天一共265天，非晴天一共100天。A=（晴天），非A=（非晴天）

P（A）=265/365=0.726

P(非A)=100/365=0.274

我们在这些信息的基础上进行预测明天的天气，一般只有一种预测的可能，明天是晴天，仅仅因为P（A）=P（晴天）>P(非晴天)=P（非A）

显然这样仅仅依靠晴天和非晴天出现的概率判断明天的天气是不够科学合理的，我们可以加入另外一个因素，那就是探讨今天有没有晚霞对明天是不是晴天的影响，B=（有晚霞），非B=（没有晚霞）

我们假设通过往年数据，可以计算出

• 晴天的前一天有晚霞                 P(B|A)=0.7
• 晴天的前一天没有晚霞             P(非B|A)=0.3
• 非晴天的前一天有晚霞             P(B|非A)=0.1
• 非晴天的前一天没有晚霞         P(非B|非A)=0.9

那么在这些数据支持的情况下，我们已知今天有晚霞（B表示有晚霞，~B表示没有晚霞），问明天天气情况？（A表示晴天，~A表示非晴天）

计算P(A|B)和P（~A|B）？

好的！终于要用到我们的贝叶斯决策了：（备注：图片中的~A即为非A）

 

 

我们可以算出来P（A|B）>P(非A|B)，即在我们已经今天出现晚霞的基础上，明天是晴天的概率是0.9488，而不是晴天的概率为0.0512

三：再看贝叶斯决策模型

我们接下来再对贝叶斯决策论展开讨论，我们是否可以将贝叶斯作为一个工具，做一个决策函数，也就是我们“机器学习”中的黑盒问题。首先看一下简单的概率基础。

我们基于观察特征，类别的贝叶斯公式：

根据贝叶斯公式，我们可以得到预测不同结果出现的概率是不同的，通过比较大小，我们可以得到一个概率最大的预测结果，并将其作为我们整个函数的输出反馈给用户，也就是贝叶斯决策部分。在比较大小的时候，我们可以直接做差、做比，甚至可以利用对数工具简化计算。