计算机科学、数学、统计学、生物学、神经科学,甚至哲学,都有贝叶斯公式的一席之地。应用非常广泛。
图灵至今已经出版了多本贝叶斯相关的图书,而《概率论沉思录》更是一本经典著作,它将概率和统计推断融合在一起,用新的观点生动地描述了概率论在物理学、数学、经济学、化学和生物学等领域中的广泛应用,尤其是阐述了贝叶斯理论的丰富应用,弥补了传统概率论和统计学的不足,并揭开了众多悖论背后的玄机。
来源 | 《贝叶斯的博弈》
作者 | 黄黎原
文 | 本书译者 / 方弦
这也许难以置信,一个小小的概率论公式竟然有着如此广泛的应用,其中一些甚至似乎与概率毫无关系。别的先不说,我们在决定晚上吃什么时,似乎也不会计算什么概率,那贝叶斯公式是怎么跟所有这些东西扯上关系的呢?
要理解这一点,就要先理解概率到底是什么。
我们在学校学到的是,在多次重复同一实验时,得到某个结果的比例会逐渐趋近于一个特定的值,它就是这个结果出现的概率。比如说抛硬币100次,可能有55次正面;抛1万次的话,正面可能出现4986次。但抛的次数越多,正面出现的次数就越来越接近一半,因此,正面出现的概率就是0.5。
根据已知事件的概率,我们可以计算其他更复杂的事件出现的概率,而我们在高中学到的概率,大体上就是如何去进行这样的计算。
但有些概率似乎不能这样解释。
天气预报里说“明天降水概率是40%”,但“明天”无法重复,这个概率的意义又是什么?更重要的是,我们学会了怎么根据给定的模型来计算概率,但从来没有人告诉我们这些模型从何而来。教材上说抛硬币正反面出现的概率都是0.5,但如果有人连续抛出100次正面,的确这种事情出现的概率不是0,这个人的运气可能真的好,但不会去怀疑这枚硬币有猫腻的,恐怕万中无一,也许我们需要换一种思路。
面对连续抛出100次正面,为什么我们会怀疑硬币有问题?
因为解释100次正面的方法,其实不止一种:我们可以假设硬币是公平的,只是这个人的运气特别好;或者硬币被动了手脚,比如两面都是正面。那么,这两种解释各自有多合理呢?
前一种解释下,100次正面出现的概率是2-100,大概是一亿亿亿分之一,一个非常小的数字;后一种解释下,要找一枚动了手脚的硬币不太容易,但可能性肯定远远大于一亿亿亿分之一。所以,我们的怀疑完全合理,这枚硬币多半有猫腻。
这种思路与我们在学校学到的概率方法恰好相反,与其在知道原因的情况下计算每种结果的可能性,我们做的其实是在已知结果的情况下,判断它由不同原因导致的可能性。正因如此,这类问题又被称为逆概率问题,而贝叶斯公式就是所有这类问题的解法。
而更为重要的是,我们不一定要等到第100次正面出现才开始怀疑。如果正面连续出现五六次,“运气好”这个解释也许勉强过得去,但在连续出现二三十次之后,我们肯定就从半信半疑变成极端怀疑了。
为什么?因为我们对两种解释的可能性会随着观察而不断变化,不断调整它们在我们心中的可能性。连续的正面越来越多,我们就越来越怀疑硬币是否公平。而从数学上来说,最合理的调整方法就是根据贝叶斯公式,从观察前的信心程度,根据结果计算观察后的信心程度。
吊诡之处就在这里:贝叶斯公式毕竟是概率论的公式,它计算的是客观的概率,怎么变成主观的信心程度了?
但也许这就是问题所在,不同的人对于同一事件发生的概率也许会有不同的看法。在抛第一次硬币的时候,对于毫不知情的旁观者来说,硬币很有可能是公平的,所以抛出正面的概率是0.5,但对于抛硬币的人来说,他早就知道硬币只能抛出正面,所以对他来说,这个概率是1。
为什么两个概率不相同?因为抛硬币的人比旁观者知道得多,拥有更多的信息。反过来说,即使是完全公平的硬币,如果我们知道空气中每一个分子的运动,知道硬币一开始的准确速度,知道桌面每一丝毫的起伏,那么原则上我们就能计算硬币抛到桌面上最后的朝向,结果不再是概率,而是完全注定。
可以说,正因为我们无知,所以才需要概率,用以衡量由于无知带来的不确定性。而贝叶斯公式,就是我们被迫在无知的黑暗中前行时唯一的指南针,用尽我们所知的一切,去尝试衡量未知,做出行动,而更重要的是从实际观察到的结果学习,合理调整我们对不同可能性的信心。
不仅有意识的行动如此,任何需要与外界相互作用的客体,无论是人、动物、植物还是机器,如果想要做出合理的决定,在某种意义上都需要利用贝叶斯公式,而这种利用甚至不需要主动的意识。书中提到,视觉处理、语言学习、股票市场,甚至生物演化,在某种意义上都是贝叶斯公式的具体应用。
但对于作者而言,贝叶斯公式更重要的不在于它的正确性,而在于如何具体实行。
贝叶斯
( Thomas Bayes 1702-1761 )
在理想化的数学世界中,贝叶斯公式的确提供了唯一的答案,但在现实世界中,它的完美实现却几无可能,因为它的计算超出了任何计算机的能力,而这也是数学得出的结论。我们能做到的,就只能是利用尽可能少的资源,尽可能快的做到尽可能精确的近似。
自然界通过演化以及演化而来的神经系统,对不同类型的问题给出了不同的解答。而人工智能,也就是作者的主要研究领域,要做的就是从自然以及数学中提取经验,想方设法对贝叶斯公式指示的计算做出又快又足够好的近似。
也正因如此,书中包含相当多人工智能方面的研究内容,部分甚至相当深入。偏差-方差困境、数据的正则化、内生分层、KL散度、生成对抗网络、玻尔兹曼机、深度学习……这些都是书中仔细探讨的内容。然而,在作者的简明风格下,这丝毫没有减少这本书的可读性,反而有一种厚重感,也让我们看到人工智能领域对于数据处理与预测的孜孜以求,以及贝叶斯公式在其中的众多应用。
贝叶斯公式在哲学上同样给我们相当大的启发。化繁为简、兼听则明、从不盲信、合理怀疑,这些理性思考的注意事项,全都能在贝叶斯公式中找到解释。
不仅如此,贝叶斯的视角也对认识论产生了重大的影响。也许绝对的真理并不存在,存在的只有互相印证又互相勾连的理论,而不同的理论又被多方面的实践所验证。单一实验也许会出错,但众多实验的集合也许就提供了足够的理由,通过贝叶斯公式,使得我们对理论本身有着极高的置信度。
这就是所谓的“真理融贯论”,与其建基于可能并不存在的绝对真理,也许接受这种由概率与相互印证构成的真理更为实在。而书中贝叶斯公式的众多应用,又在各种不同的角度支撑了这种对世界的思考方式。
也许这本书最重要的启发,并不是什么具体的知识,而是贝叶斯公式中隐含的怀疑精神。本书作者写作的目的之一,就是梳理他自己对贝叶斯公式的思考。但在梳理过程中,他也发现,如果利用贝叶斯的眼光审视自己心中的信念,就会发现这些信念其实都来自外界,而我们之所以接受这些信念,也许并不因为它们是正确的,只是一时一地的偶然或者必然。
在书中,他详细地描述了对自己内心的审视。也许这也正是我们在这个信息爆炸的年代所需要的。
抛开固有的信念,直视世间合意或者不合意的一切,用最朴素的眼光,才能看到世界的本来面目。
推荐阅读
《概率论沉思录》
作者:埃德温·汤普森·杰恩斯
译者:廖海仁
著名数学物理学家,圣路易斯华盛顿大学和斯坦福大学教授,统计力学和概率统计推断方面权谋埃德温·汤普森·杰恩斯,40年思想著作;
无数读者苦等15年的概率论神作,英文版豆瓣评分9.4高分;
概率论作为逻辑的延伸,是所有科学推断的基础。本书收集了概率统计的各种线索,将概率和统计推断融合在一起,用新的观点生动地描述了概率论在物理学、数学、经济学、化学和生物学等领域中的广泛应用,尤其是阐述了贝叶斯理论的丰富应用,弥补了传统概率论和统计学的不足,并揭开了众多悖论背后的玄机。
02
《贝叶斯的博弈:数学、思维与人工智能》
作者:黄黎原
译者:方弦
法国数学类科普书、大学数学参考及教材类图书畅销书目,在机器学习、人工智能、逻辑学和哲学等众多领域中,探索贝叶斯定理蕴藏的智慧与哲理。
贝叶斯定理一旦与算法相结合,就不再是一套枯燥的数学理论或认识论,而变成了应用广泛的知识宝库,催生了众多现代数学定理,以及令人称道的实践成果。
03
《趣学贝叶斯统计:橡皮鸭、乐高和星球大战中的统计学》
作者:[美] 威尔·库尔特(Will Kurt)
译者:王凌云
本书用十余个趣味十足、脑洞大开的例子,将贝叶斯统计的原理和用途娓娓道来。你将从直觉出发,自然而然地习得数学思维。读完本书,你会发现自己开始从概率角度思考每一个问题,并能坦然面对不确定性,做出更好的决策。
04
《贝叶斯数据分析(第2版)》
作者:约翰·K. 克鲁施克(John K. Kruschke)
译者:王芳
1.美国加州大学伯克利分校博士,特罗兰研究奖获得者,美国印第安纳大学心理学和脑科学名誉教授、统计学副教授约翰·K. 克鲁施克,拥有近25年的统计学教学经验总结!
2.极佳的贝叶斯统计入门书籍!如果你认为统计学很难,或许是因为你在入门时错过了本书。
3.原著豆瓣高达9.4分!全面覆盖实用的贝叶斯统计知识,可读性强!
05
《谁在掷骰子?不确定的数学》
作者:[英] 伊恩•斯图尔特
译者:何生
几个世纪以来,在好奇心以及精确预测未来的“野心”驱动下,具有开拓意识的数学家希望从概率论和统计学着手,减少各种“不确定性”。但他们发现,某些问题始终难以解决,而直觉也在不断误导人类。
本书探讨了关于“不确定性”的有趣故事和相关科学知识。知名科普作家伊恩·斯图尔特巧妙地建立起一个易于理解、充满想象力的数学框架,从概率论、统计学、贝叶斯方法、混沌理论等角度展现了“不确定性”在金融市场、天气预报、人口普查、医学、量子物理学和宇宙学等诸多领域中的重要作用,展望了与不确定性问题紧密相关的科学门类的广阔研究前景。
06
《普林斯顿概率论读本》
作者:[美] 史蒂文·J. 米勒(Steven J. Miller)
译者:李馨
普林斯顿读本三剑客之概率论,概率论教材,叙述深入浅出,提供课程视频和讲义,概率论学习图书。
对于学生来说,学习概率论及其众多应用、技术和方法似乎非常费力且令人生畏,而这正是本书的用武之地。这本通俗易懂的学习指南旨在用作概率论的独立教材或相关课程的补充材料,可帮助学生轻松地学习概率论知识并取得良好效果。
本书基于史蒂文·J. 米勒在布朗大学、曼荷莲学院和威廉姆斯学院教授的课程而作。米勒通过先修课程材料、各种难度的问题及证明对概率论这一数学领域进行了详细介绍。探索每个主题时,米勒首先引导学生运用直觉,然后才深入技术细节。本书涵盖的主题很广,并且对材料加以重复以强化知识。读完本书,学生不仅能掌握概率论,还能为将来学习其他课程打下基础。