实验三：最小错误率的贝叶斯分类预习报告

利用贝叶斯后验概率确定分类：

 

贝叶斯公式

在需要计算事件 A 在事件 B 下的条件概率时，可以计算 P(A|B)=P(AB)/P(B), 又因为条件概率公式 P(AB)= P(B|A)*P(A) ，所以可得 P(A|B)= P(B|A)*P(A)/P(B) 。而在一个样本空间中，事件 B 可以划分成几个部分，例如下图中事件 B 可以分为 AB 同时发生和 A’B 同时发生两种情况，它们共同组成了事件 B ，所以事件 B 的概率还可以表示成 P(B)=P(AB)+P(A’B)。

根据条件概率公式对 P(AB) 和 P(A’B) 变形可以便得到贝叶斯公式：

在上述贝叶斯公式中，我们将事件 B 看作事件 A 和 A’ 发生的情况下产生的结果，于是贝叶斯公式便可以简单的理解成已知结果发生时求导致结果的某种原因的概率。

贝叶斯推论

贝叶斯公式经过变形可以得到贝叶斯推论：

在这个式子中，把 P(A) 称为 " 先验概率 " ( Prior probability )，即在 B 事件发生之前，对 A 事件概率的一个判断，也就是根据以往经验和分析得到的概率。

P(A|B) 称为 " 后验概率 " ( Posterior probability )，即在 B 事件发生之后，对 A 事件概率的重新评估，后验概率是基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。先验概率和后验概率是相对的。如果以后还有新的信息引入，更新了现在所谓的后验概率，得到了新的概率值，那么这个新的概率值被称为后验概率。

P(B|A)/P(B) 称为 " 可能性函数 " ( Likelyhood )，这是一个调整因子，使得预估概率更接近真实概率。

 

预习心得

贝叶斯推理实际是借助于新的信息修正先验概率的推理方法。显然，这样的方法如果运用得当，可以在依据概率作出决断时，不必一次收集一个长期过程的大量资料，而可以根据事物发展的情况，不断利用新的信息来修正前面的概率，作出正确决策。例如，当无法对一件事做出准确的判断时，可以通过寻找它的调整因子来增大或者减小它的概率，在经过多次调整后，即可将它的概率增加或者减少到可以做出判断。