不可小视的贝叶斯（一）

昨天讲述了研究生做的第一个项目，今天开始进入我的学术研究方向的重点——机器学习，虽然这些文章对于我找一份程序员工作可能没有什么太大的帮助，但是毕竟是之前我花了很多时间研究过的，既然以后的重点都是回忆，那就索性一个不落下吧。另外之所以开始这样的行为，也得益于之前华为的一位技术面试官对我的影响，再次感谢一下这位面试官，很遗憾的是我都不晓得他姓什么。记忆这种东西谁都会忘，大脑可以选择遗忘，这是它的自由，但是如果你放任这种自由，就是你的不对，有些时候你还得强迫它来记住一些你不能忘掉的东西。

    看着之前所做的笔记，我都不敢相信这些东西居然是我一点一滴记录下来的，让我不得不感慨，人真是一个神奇的动物。今天讲述的内容来自Rashmi Kankaria的硕士论文A Tool for Constructing and Visualizing Tree Augmented Bayesian Networks，有兴趣的可以下载下来详细阅读。这篇文章主要讲述以下四个部分。

    1）机器学习概述

    2）贝叶斯理论

    3）贝叶斯分类器

    4）贝叶斯网络

    

    1）机器学习概述

    Thomas G. Dietterich认为机器学习涉及一些学习方法使得机器能够模仿人类学习的过程。由机器学习产生的程序，它能够修改自身的一些信息，通常指的是它的状态，所以对于同样的输入，会有一个不同的输出产生。这是区别于一般程序的主要区别。

    机器学习涵盖的子域很多，重点研究的包括监督学习、非监督学习、神经网络、决策树和贝叶斯学习。这些内容我会在后面的内容中慢慢讲述，今天主要讲述贝叶斯。

    2）贝叶斯理论

    提到贝叶斯，相信工科类的学生并不陌生。贝叶斯方法源于托马斯•贝叶斯（Thomas Bayes）生前为解决一个“逆概”问题写的一篇文章，具体内容大家可以参见wiki上关于他的简介。首先来看一下大家最熟悉不过的贝叶斯定理。贝叶斯定理是一个用于计算条件概率的数学公式，其定义如下：

    

    贝叶斯定理提供了用于计算某个hypothesis h的概率（它也称为后验概率）的方法，而这个方法基于它的先验概率p(h)，给定hypothesis下观察数据的概率p(D/h)（它也称为似然概率），以及观察数据本身的概率p(D)（也称为全概率）。

    也许只看公式，还不能形象的说明这个公式的用途，这里举个简单的例子。

    假设医生知道患有某种咽喉癌的患者会有严重咽喉痛的概率是40%，而病人患有咽喉癌的概率是0.001%，并且任何病人患有严重咽喉痛的概率是5%。假定t表示患者患有咽喉癌，s表示患者有严重咽喉痛。则有

    

     也就是说，患者有严重咽喉痛的情况下患有咽喉癌的概率是0.008%，即医生可以推测每12500个病人中可能会有一个患有咽喉痛的患者会有咽喉癌。即使咽喉癌与严重的咽喉痛是紧密相关的，但是患有咽喉痛的患者会患有咽喉癌的概率是非常小的。

     对这个公式有一定了解后，我们在接着往下看。前面我们已经提到贝叶斯定理计算某个hypothesis的概率也称为后验概率。一般来说，我们的假定可能不止一个，我们希望知道所做的每个假定最大的可能性有多少，也就是说根据已知观察到的数据，我们希望知道某种情况发生的最大概率是多少，通俗的讲就是说最靠谱的假定是什么。由此，我们引入最大后验概率（Maximum a posterior, MAP）这个概念。

    
    注意到，上述第三个公式，我们去掉了全概率p(D)，因为对于所有的hypothesis，该值都是一样的，所以可以忽略掉。

    前面我们提到概率p(D/h)为似然概率，我们引入第二个概念，也就是最大似然概率（Maximum Likelihood），它的定义为上述公式的第二个。另外如果对于任何hypothesis他的先验概率如果都等概的话，则有：

    

    根据上述第二个公式，我们可以得到当先验假定概率p(h)为均匀分布时，最大后验概率与最大似然概率是相等的。

    

    贝叶斯之所以为机器学习核心的方法之一，这背后的深刻原因在于，现实世界本身是不确定的，而人类的观察能力是有局限性的。我们所能做的是，如何根据已有的内容推测出最可能的正确的结论。根据贝叶斯，我们可以做两件事情：1）计算出各种不同猜测的可能性的大小；2）找到最有可能的猜测。考虑到篇幅大小，先介绍到这里，后面我在讲述后两节的内容。