机器学习笔记- 贝叶斯学习(1)

贝叶斯学习：待考查的量遵循某概率分布，且可根据这些概率及已观察到的数据进行推理，以作出最优的决策。 

贝叶斯与其他算法不同的是，贝叶斯学习算法能够计算显式的假设概率，从而也为使用者的选择提供了数据支持。

贝叶斯学习方法的特性包括：
• 观察到的每个训练样例可以增量式地降低或升高某假设的估计概率。这提供了一种比其他算法更合理的学习途径。其他算法会在某个假设与任一样例不一致时完全去掉该假设。

• 先验知识可以与观察数据一起决定假设的最终概率。在贝叶斯学习中，先验知识的形式可以是（ 1）每个候选假设的先验概率（ 2）每个可能假设在可观察数据上的概率分布。

• 贝叶斯方法可允许假设做出不确定性的预测。（比如这样的假设：这一肺炎病人有 93%的机会康复）。

• 新的实例分类可由多个假设一起作出预测，以它们的概率为权重。

• 即使在贝叶斯方法计算复杂度较高时，它们仍可做为一个最优的决策的标准衡量其他方法。

要理解贝叶斯学习算法，需要提前有一部分概率知识，在这个笔记中一些基本概念和定理不被展现出来。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

首先定义几个记号。

h ：假设空间H中的假设。

D：给定的训练数据。

P(h) : 代表还没有训练数据前，假设 h 拥有的初始概率。 P(h)常被称为 h 的先验概率。同理，P(D)代表将要观察的训练数据 D 的先验概率（换言之，在没有确定某一假设成立时， D 的概率），而且一般P(D)是常量。

P(D|h)：假设 h 成立 的情形下观察到数据 D 的概率。(P(x|y)代表给定 y 时 x 的概率。)

一般我们感兴趣的是 P(h|D)，即给定训练数据 D 时 h 成立的概率。 P(h|D)被称为 h 的后验概率（ posterior probability），因为它反映了在看到训练数据 D 后 h 成立的置信度。后验概率 P(h|D)反映了训练数据 D 的影响；相反，先验概率 P(h)是独立于 D 的。

贝叶斯公式 是贝叶斯学习的基础，它提供了从先验概率 P(h)以及 P(D)和 P(D|h) 计算后验概率 P(h|D)的方法。

贝叶斯公式（这个公式学过概率的人一般都比较清楚，推导也比较简单）：

而这样计算出来所有假设h的后验概率，而我们一般考虑的是最大概率的那个假设，这样的具有最大可能性的假设被 称为极大后验（ maximum a posteriori, MAP）假设。

MAP假设（）：

    用贝叶斯公式计 算每个候选假设的后验概率。

    

       在最后一步省略了P(D)，因为P(D)是不依赖h的常量。如果再假定H中每个假设有相同的先验概率（即对 H中任意 hi 和 hj， P(hi)=P(hj)）。这时可把等式 进一步简化，只需考虑P(D|h)来寻找极大可能假设。

        这时的MAP假设又叫极大似然 （maximum likelihood， ML）假设。P(D|h) 常称为给定 h时数据 D的似然度。

极大似然假设（）：

    

实例：

有两个可选的假设：（ 1）病人有某种 类型的癌症，（ 2）病人无癌症。可用的数据来自于一化验测试，它有两种可能的输出： ⊕（正）和Θ（负）。我们有先验知识：在所有人口中只有 0.008 的人患有该疾病。另外，该化验测 试只是该病的一个不完全的预计。该测试针对确实有病的患者有 98%的可能返回正确的⊕结 果，而对无该病的患者有 97%的可能正确返回 Θ 结果。除此以外，测试返回的结果是错误的。上面的情况可由以下的概率式概括：

    P(cancer) = 0.008 , P(¬cancer) = 0.992

P(⊕ | cancer) = 0.98 , P(Θ | cancer) = 0.02

P(⊕ | ¬cancer) = 0.03 , P(Θ | ¬cancer) = 0.97

假定现有一新病人，化验测试返回了⊕结果。是否应将病人断定为有癌症呢？极大后验假设计算： 

P(⊕ | cancer)P(cancer) = (0.98) ⋅ (0.008) = 0.0078

P(⊕ | ¬cancer)P(¬cancer) = (0.03) ⋅ (0.992) = 0.0298

因此， 极大后验假设=¬cancer。确切的后验概率可将上面的结果归一化以使它们的和为— （即 ）。该步骤的根据在于，贝叶斯公式说明后验概率就是上面的量除以数据 P(⊕)。虽然P(⊕)没有作为问题陈述的一部分直接给出，但因为已知 P(cancer|⊕)和P(¬cancer|⊕)的和必为 1（即该病人要么有癌症，要么没有），因此可以进行归 一化。注意虽然有癌症的后验概率比先验概率要大，但最可能的假设仍为此人没有癌症。