终极算法——第六章：贝叶斯学派：在贝叶斯教堂里

本文为阅读总结个人认为书里概念性的、对本人有帮助的内容，仅供参考。

通往最优学习的路径始于一个公式，这一点许多人都听说过：贝叶斯定理。

对于贝叶斯学派来说，学习“仅仅是”贝叶斯定理的另外一个应运用，将所有模型当作假设，将数据作为论据：随着你看到的数据越来越多，有些模型会变得越来越有可能性，而有些则相反，直到理想的模型渐渐突出，称为最终的胜利者。

贝叶斯是第一个描述用新方法来考虑概率的牧师，但把那些想法编程定理，并以贝叶斯的名字来命名的人，却是拉普拉斯。

先验概率：它反映的是对于将要发生的事情，你优先相信的东西。

后验概率：这个概率是在看到一些证据后得出的。

根据贝叶斯定理，给定某原因时出现某结果的可能性越大，那么出现该结果时该原因引起的概率也会越大。

贝叶斯定理认为：P(原因 | 结果)=P(原因) X P(结果 | 原因) /P(原因)

贝叶斯定理让我们由原因推出结果，又由结果直到原因，但其重要性远非如此。

贝叶斯学派认为：概率并非频率，而是一种主观程度上的信任。

贝叶斯推理让你做的事就是：通过新证据来修正你之前相信的东西，得到后来相信的东西。

为了解决组合爆炸问题，一个简单且受人追捧的假设就是，在给定原因的情况下，所有的结果都相互独立。

如果学习算法利用贝叶斯定理，且给定原因，假定结果相互独立，那么该学习算法被称为“朴素贝叶斯分类器”。

正如统计学家乔治·博克斯说的一句很有名的话那样：“所有的模型都是错的，但有些却有用”。

经济学家弥尔顿·弗里德曼甚至在一篇很有影响力的文章中提出，最有说服力的理论往往受到最大程度的简化，只要这些理论所做的预测是准确的，因为它们用最简洁的方法解释最复杂的问题。

马尔可夫链无处不在，而且是人们研究最多的数学话题，但它仍是受到很大限制的概率模型。

如果状态和观察值都是连续而非离散变量，那么HMM就变成人们熟知的卡尔曼滤波器。

HMM有助于模拟所有种类的序列，但它们远远不如符号学派的“如果……那么……”规则灵活，在这个规则当中，任何事都可以以前提的形式出现，而在任意下游规则中，一条规则的结果可以反过来当作前提。

拥有一个随机变量之间复杂的依赖关系网络也没什么，只要每个变量仅仅直接依赖于其他几个变量。

在任意贝叶斯网络中，为了获得完整状态的概率，只需将单个变量表格中相应行上的概率相乘。因此，只要条件独立性有效，转换到更加简洁的表示方法不会导致信息丢失。

极其学习无法预测鲜有的时间，或者纳西姆·塔勒布口中的“黑天鹅”。（黑天鹅事件：具有意外性；产生重大影响；它虽具有意外性，但人的本性促使我们在事后为它的发生编造理由，并且或多或少认为它是可解释和可预测的。）

马尔可夫链隐含这样的猜想：考虑到现在，未来会有条件地独立于过去。

贝叶斯网络最激动人心的应用之一，就是模拟基因在活细胞中如何相互管制。

贝叶斯网络中的推理不仅限于计算概率，它也包括为证据找到最可信的解释方法。

最重要的是，推理包括做最佳决定，引导这些决定的，不仅仅是不同结果的概率，还有相应的成本。

实际上，对于贝叶斯学派来说，没有所谓的真相。你有一个优先于假设的分布，在见到数据后，它就变成了后验分布，这是贝叶斯定理给出的说法，也就是贝叶斯定理的全部。

贝叶斯学派的观点就是，选择什么表示方法由你决定，但是利用贝叶斯定理来掌握它。

梯度下降是掌握权值的一种好方法。

贝叶斯学派指出了逻辑的脆弱性。

贝叶斯学派和符号学派一致认为，先验假设不可避免，但对于他们认可的先验知识种类却存在分歧。

将联结学派和进化学派结合起来很简单：只要改善网络结构，利用反向传播来掌握参数。但将逻辑和概率统一起来要困难的多。

多数专家相信，将逻辑和概率相统一是不可能的。

到目前为止，我们谈到的所有学派有一个共同点：他们都学习研究中的现象的显式模型，无论它是一组规则、一个多层感知器、一个基因组计划、还是一个贝叶斯网络。

终极算法