贝叶斯后验定理与预测(信号与噪声读书笔记)

正如统计学家乔治·E·P·博克斯所写：“所有的模型都是错误的，但是其中有些是有用的。”这句话的意思就是，所有模型都是这个世界的简化形式，因为这是必要的。正如另一位数学家所说：“一只猫最好的模型就是一只猫。”其他模型都会遗漏一些细节。这些细节是否关系重大，取决于我们试图解决的问题究竟是什么，还要看我们想要得到的答案有多精确。

 在我们使用的工具中，统计模型并非唯一一个要求我们做出粗略估算的工具。例如，语言就是一种模型，一种我们用于相互沟通的近似值。所有语言都包含一些单词，在别的语言中却没有直接对应的同源词，即使两个词都在尽量解释同一个事物，它们也不是同源词。技术领域有其特有的语言。 

但是，博克斯写道，一些模型是有用的。据我观察，芝加哥和匹兹堡两支团队正在进行的基于 Agent 建模就十分有用。这些模型能断定不同族群对疫苗的态度，能推出疾病在一个城市中不同社区的传播情况，也能猜到人们对流感新闻的反应，这些本身就是重要的问题。

 一个好的模型即使失败了也有价值。“我们应当假设无论作什么预测，通常都是错误的。”欧祖诺夫告诉我，“所以，通常作预测就是为了了解错误是如何形成的，出错时该怎么做，如何将损失最小化。” 关键是要记住，模型是帮助我们理解某一领域复杂性的工具，而不是取代整个领域。

贝叶斯相信神是完美的，但他同时也支持牛顿的学说，认为大自然遵循一种有规律且可预测的法则。贝叶斯的理论更像是一种声明，从数学方面和哲学方面表达了我们是如何了解宇宙的：我们通过近似值一点点地模拟并认识宇宙，收集越多的证据，就越接近真相。

贝叶斯定理的哲学基础惊人地深厚，那么相比而言，其数学运算就少得可怜了。在其最基本的形式中，数学运算只是个代数表达式，包含 3 个已知变量和一个未知变量。然而，就是这样一个简单的运算，却可以推导出重大的预测。 贝叶斯定理涉及条件概率，也就是说，一旦发生了某个事件，这一定理就可以告诉我们一种理论或假设是否正确。 

假设你和伴侣同住，某天出差回家后发现自己的衣橱里多出一件陌生的内衣。你可能会奇怪：自己的伴侣是不是出轨了？前提条件是，你找到了内衣，你想要评估的是自己的伴侣出轨的可能性。

不论你相信与否，对于这样的问题，贝叶斯定理总能给出答案——假如你知道（或者有意愿预估）下列 3 个量： 

第一，你需要预测出自己的伴侣在出轨的情况下，这件内衣出现的概率。为了解决这个问题，我们暂且假设你是一位女性，而你的伴侣是一位男性，那么，此时我们所说的内衣就是一件女式内衣。如果你的伴侣出轨了，那么很容易想象这件内衣是如何进入你的衣橱的。那么，即使他确实要做对不起你的事，你也希望他能够小心行事。在他确实背叛了你的情况下，我们认为，这件内衣出现的概率是 50%。

第二，你需要预测出自己的伴侣在没有出轨的情况下，这件内衣出现的概率。如果他没有出轨，有什么理由证明那件内衣的清白呢？当然有些理由会令人不快（比如这件内衣也有可能是他自己的）。或许，他把衣服搞混了；或者你的伴侣有一位红颜知己，两人之间只存在纯友谊，而你对此也深信不疑，她寄宿一晚忘了带走内衣；或者这就是你的伴侣给你准备的一件礼物，只不过忘了把它包起来。尽管这些理由有些荒谬，但也能说得通。你将这种情况出现的概率定为 5%。

第三，这点最为重要，你需要预测贝叶斯定理中所说的先验概率（或者简称先验）。在发现内衣之前，你认为自己的伴侣出轨的概率有多大？当然，现在很难完全客观地考虑这个问题，因