Probabilistic Machine Learning：Introduction 概率机器学习：简介（1）

Kevin P. Murphy
https://www.cs.ubc.ca/~murphyk/

在2012年，我出版了一本名为《机器学习：概率透视》的1200页书，该书在概率建模的统一视角下，相当全面地涵盖了当时的机器学习（ML）领域。这本书受到了好评，并于2013年获得了De Groot奖。

2012年也被普遍认为是“深度学习革命”的开始。术语“深度学习”指的是基于神经网络（DNNs）的机器学习分支，这些网络是具有许多层处理的非线性函数（因此称为“深度”）。尽管这种基本技术已经存在多年，但是在2012年，[KSH12]使用DNNs以如此大的优势赢得了ImageNet图像分类挑战，引起了更广泛社区的关注。与此同时，其他难题的相关进展，如语音识别，也在同一时期出现（见例如[Cir+10; Cir+11; Hin+12]）。这些突破是由硬件技术（特别是将快速图形处理单元（GPU）从视频游戏转用于ML）、数据收集技术（特别是使用众包工具，如亚马逊的Mechanical Turk平台，收集大型标记数据集，如ImageNet）以及各种新的算法思想推动的，本书涵盖了其中一些。

自2012年以来，深度学习领域发展迅猛，新的进展以递增的速度涌现。对该领域的兴趣也迅速增长，得益于技术的商业成功以及它所涵盖的广泛应用领域。因此，在2018年，我决定撰写第二版的书，试图总结这一进展。

到2020年3月，我第二版书稿的篇幅已经膨胀到约1600页，并且还有许多主题需要涵盖。因此，麻省理工学院出版社告诉我需要将书分为两卷。然后，COVID-19大流行爆发。我决定放弃写书，转而协助开发Google的暴露通知应用的风险评分算法[MKS21]，并协助各种预测项目[Wah+22]。然而，到了2020年秋季，我决定回到写书的工作中。

为了弥补失去的时间，我请几位同事帮助我完成撰写各个章节（请参见下文的致谢）。所有这一切的结果就是两本新书，《概率机器学习：入门》，您正在阅读的书，以及《概率机器学习：高级主题》，它是这本书的续集[Mur23]。这两本书试图以2012年书中我使用的相同的概率建模和贝叶斯决策理论的统一视角，相对全面地呈现2021年左右的ML领域。

几乎所有2012年书中的内容都被保留了下来，但现在均匀地分布在这两本新书中。此外，每本新书都有大量的新材料，涵盖了深度学习以及领域其他部分的进展，如生成模型、变分推断和强化学习。

为了使这本入门书更加自包含和对学生有用，我添加了一些背景材料，涵盖了2012年书中由于空间不足而省略的主题，如优化和线性代数。高级材料，在入门级课程中可以跳过的，通过在部分或章节标题中标记为星号*。一些章节末尾包含了练习。带有星号*标记的练习的解答可通过联系麻省理工学院出版社获得；所有其他练习的解答可以在probml.github.io/book1上找到，以及其他教学材料（例如图表和幻灯片）。

另一个重大变化是所有软件现在都使用Python而不是Matlab。 （未来，我们可能会创建代码的Julia版本。）新代码利用了标准的Python库，如NumPy、Scikit-learn、JAX、PyTorch、TensorFlow、PyMC等。

如果一个图的标题说“Generated by iris_plot.ipynb”，那么您可以在probml.github.io/notebooks#iris_plot.ipynb找到相应的Jupyter笔记本。单击书的pdf版本中的图链接将带您转到这个笔记本列表。单击笔记本链接将在Google Colab中打开它，这将让您轻松地重现图表，并修改底层源代码以更深入地理解方法。（Colab为您提供免费的GPU，对于一些计算较重的演示非常有用。）

致谢

我要感谢以下人员对本书的帮助：
• Zico Kolter（卡内基梅隆大学），他帮助编写第7章（线性代数）的部分。
• Frederik Kunstner、Si Yi Meng、Aaron Mishkin、Sharan Vaswani和Mark Schmidt，他们帮助
编写第8章（优化）的部分。
• Mathieu Blondel（谷歌），他帮助编写第13.3节（反向传播）。
• Krzysztof Choromanski（谷歌），他编写了第15.6节（高效变压器*）。
• Colin Raffel（北卡罗来纳大学），他帮助编写第19.2节（迁移学习）和第19.3节（半监督学习）。
• Bryan Perozzi（谷歌）、Sami Abu-El-Haija（南加州大学）和Ines Chami，他们帮助编写第23章
（图嵌入*）。
• John Fearns和Peter Cerno仔细校对本书。
• Github社区的许多成员，发现错别字等（请参见https://github.com/probml/
pml-book/issues?q=is:issue 查看问题列表）。
• 麻省理工学院出版社邀请的四名匿名审稿人。
• Mahmoud Soliman编写了连接latex、colab、github等的所有魔法管道代码，以及教授我有关GCP和TPU的知识。
• 在书中工作的2021年Google Summer of Code学生们：Aleyna
Kara，Srikar Jilugu，Drishti Patel，Ming Liang Ang，Gerardo Durán-Martín。 （请查看https://
probml.github.io/pml-book/gsoc/gsoc2021.html 获取他们贡献的摘要。）
• Zeel B Patel，Karm Patel，Nitish Sharma，Ankita Kumari Jain和Nipun Batra，在书首次发布后帮助改进
图表和代码。
• Github社区的许多成员对其代码的贡献（请参见https://github.com/
“概率机器学习：入门”的草稿。 2023年6月22日
前言xxix
probml/pyprobml#acknowledgements）。
• [Zha+20]、[Gér17]和[Mar18]的作者，让我重新使用或修改了他们自己优秀书籍中的一些开源代码。
• 我在谷歌的经理Doug Eck，允许我在公司时间内致力于写作本书。
• 我的妻子Margaret，允许我在家庭时间里致力于写作本书。

关于封面

封面描绘了一个神经网络（第13章）被用于将手写数字x分类为10个类标签之一y ∈ {0, 1, . . . , 9}。右侧的直方图是模型的输出，对应于条件概率分布p(y|x)。

更改日志

更改列表位于https://github.com/probml/pml-book/issues?q=is%3Aissue+is%3Aclosed。
• 2022年8月8日。首次硬拷贝印刷。
• 2023年4月4日。第二次硬拷贝印刷。
• 2023年6月22日：在线版本