朴素贝叶斯决策理论

引言

  虽然本科学过概率论，但是也就会用点公式，知道点皮毛，知其然却不知其所以然，最近看了大佬的博客，有些心得，在此记录一下。个人理解，概率即是可能性，实际问题中好多问题因其复杂性不容易对其进行精确的度量，因此往往采用求概率的形式来进行估计判断，如天气预报。

贝叶斯决策理论

​ 如上图，我们现在用p1(x,y)表示数据点(x,y)属于类别1(图中红色圆点表示的类别)的概率，用p2(x,y)表示数据点(x,y)属于类别2(图中蓝色三角形表示的类别)的概率，那么对于一个新数据点(x,y)，可以用下面的规则来判断它的类别：

• 如果p1(x,y)>p2(x,y)，那么类别为1

• 如果p1(x,y)<p2(x,y)，那么类别为2

  也就是说，我们会选择高概率对应的类别。这就是贝叶斯决策理论的核心思想，即选择具有最高概率的决策。意思就是你最有可能是谁，你就是谁。已经了解了贝叶斯决策理论的核心思想，那么接下来，就是学习如何计算p1和p2概率。

条件概率

​ 那我如何就是这些概率，首先我们需要了解什么是条件概率(Conditional probability)，就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示

根据文氏图，可以很清楚地看到在事件B发生的情况下，事件A发生的概率就是P(A∩B)除以P(B)。

因此，

同理可得，

所以，

即

这就是条件概率的计算公式。这就像悬疑片一样，通过各种已知信息的相互联系来推断出未知信息。

全概率

除了条件概率以外，在计算p1和p2的时候，还要用到全概率公式，因此，这里继续推导全概率公式。

假定样本空间S，是两个事件A与A’的和。

上图中，红色部分是事件A，绿色部分是事件A’，它们共同构成了样本空间S。

在这种情况下，事件B可以划分成两个部分。

即