PML翻译：前言

安仔都有人用

已于 2024-03-22 20:38:29 修改

阅读量22

点赞数

分类专栏： Probabilistic Machine Learning 文章标签： PML翻译

于 2024-03-19 20:41:20 首次发布

Probabilistic Machine Learning 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

前言

在2012年，我出版了1200页的书叫《Machine Learning: A Probabilistic Perspective》。
它在概率建模的统一视角下对当时的机器学习（ML）领域提供了相当全面的覆盖。这本书广受好评，
并于2013年获得 De Groot奖。https://bayesian.org/project/degroot-prize/

2012年也被普遍认为是“深度学习革命”的开始。术语“深度学习”是指基于神经网络（DNN）的ML的一个分支，
DNN是具有多层处理的非线性函数（因此有术语“深度”一说）。尽管这项基本技术已经存在多年，但直到
2012年论文（A. Krizhevsky, I. Sutskever, and G. Hinton. “Imagenet classification
with deep convolu- tional neural networks”. In: NIPS. 2012.）使用DNN以如此大的优势
赢得ImageNet图像分类挑战时，它才引起了更广泛的关注。在其他难题（如语音识别）方面的相关进展大约
在同一时间出现。参见如下三篇论文

D. C. Ciresan, U. Meier, L. M. Gambardella, and J. Schmidhuber. “Deep Big Simple Neu- ral Nets For Handwritten Digit Recogni- tion”. In: Neural Computation 22.12 (2010), pp. 3207–3220
D. C. Ciresan, U. Meier, J. Masci, L. M. Gam- bardella, and J. Schmidhuber. “Flexible, High Performance Convolutional Neural Networks for Image Classification”. In: IJCAI. 2011.
G. E. Hinton et al. “Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups”. In: IEEE Signal Process. Mag. 29.6 (2012), pp. 82–97.

这些突破得益于硬件技术的进步（特别是将快速图形处理单元（GPU）从视频游戏重新调整为ML）、数据收集
技术（特别是使用众包工具，如亚马逊的Mechanical Turk平台，收集大型标记数据集，如ImageNet），
以及各种新的算法思想，我们在本书中介绍了其中一些。

自2012年以来，深度学习领域爆发式发展，新的进展正以越来越快的速度出现。由于该技术的商业成功及其应用
的广度，人们对该领域的兴趣也迅速增长。因此，在2018年，我决定写我的书的第二版，试图总结一些进展。

到2020年3月，我的第二版草稿已经膨胀到1600页左右，我还有很多话题要写。结果，麻省理工学院出版社(MIT press)
告诉我，我需要把这本书分成两卷。随后，新冠肺炎疫情爆发。我决定放弃写书，帮助谷歌开发[1]风险评分算法，
并协助开展各种预测项目[2]。

[1]：K. Murphy, A. Kumar, and S. Serghiou. “Risk score learning for COVID-19 contact tracing apps”. In: Machine Learning for Healthcare. 2021.
[2]😮. Wahltinez, A. Cheung, R. Alcantara, D. Cheung, M. Daswani, A. Erlinger, M. Lee, P. Yawalkar, M. P. Brenner, and K. Murphy. “ COVID-19 Open-Data: a global-scale, spa- tially granular meta-dataset for SARS-CoV- 2”. In: (2022). Nature Scientific data.

然而，到了2020年秋天，我决定重新开始写这本书。

为了弥补失去的时间，我请了几位同事帮我写下各个部分（见后面的致谢）。这一切的结果是两本新书，
《Probabilistic Machine Learning: An Introduction》，你目前正在阅读，
《Probabilistic Machine Learning: Advanced Topics》，这是本书的续集。

这两本书尝试，使用2012年那本一样的视角，广泛覆盖机器学习相关主题。2012年那本书的几乎所有内容都被保留
了下来，但现它在两本新书中的比例相当平均。此外，每本新书都有很多新鲜的资料，涵盖了深度学习（Deep Learning）
的主题，以及该领域其他领域的进展，如生成模型(generative models)、变分推理(variational inference)
和强化学习(reinforcement learning)。

为了使这本介绍性的书更加独立，对学生更有用，我添加了一些背景材料，涉及优化和线性代数等主题，
由于篇幅不足，这些资料在2012年的书中被省略了。在入门级课程中可以跳过的高级材料在章节标题中
用星号表示。练习可以在一些章节的末尾找到。合格的讲师可通过联系麻省理工学院出版社获得标有星号的
练习题答案。所有其他练习的答案都可以在[https://probml.github.io/pml-book/book1.html]上找到，
还有其他教学材料（如图表和PPT）。

另一个主要变化是所有的软件现在都使用Python而不是Matlab。（在未来我们可能使用Julia进行编码）新代码
利用了标准的Python库，如NumPy、Scikit-learn、JAX、PyTorch、TensorFlow、PyMC等。如果图中的标题
是“由iris_plot.ipynb生成”，那么您可以在[https://github.com/probml/pyprobml/blob/auto_notebooks_md/notebooks.md#iris_plot.ipynb]
上找到相应的Jupyter notebook。点击该书pdf版本中的数字链接，您将进入NoteBook列表。点击NoteBook
链接将在Google Colab中打开它，这将使您可以轻松地自己生成图形，并修改底层源码以更深入地理解知识。
（Colab允许您访问免费的GPU，这对于一些计算量更大的demo非常有用）

鸣谢

我要感谢以下人士帮助我完成这本书：

Zico Kolter (CMU), who helped write parts of Chapter 7 (Linear Algebra).
Frederik Kunstner, Si Yi Meng, Aaron Mishkin, Sharan Vaswani, and Mark Schmidt who helped
write parts of Chapter 8 (Optimization).
Mathieu Blondel (Google), who helped write Section 13.3 (Backpropagation).
Krzysztof Choromanski (Google), who wrote Section 15.6 (Efficient transformers *).
Colin Raffel (UNC), who helped write Section 19.2 (Transfer learning) and Section 19.3 (Semi-
supervised learning).
Bryan Perozzi (Google), Sami Abu-El-Haija (USC) and Ines Chami, who helped write Chapter 23
(Graph Embeddings *).
John Fearns and Peter Cerno for carefully proofreading the book.
Many members of the github community for finding typos, etc (see https://github.com/probml/
pml-book/issues?q=is:issue for a list of issues).
The 4 anonymous reviewers solicited by MIT Press.
Mahmoud Soliman for writing all the magic plumbing code that connects latex, colab, github, etc,
and for teaching me about GCP and TPUs.
The 2021 cohort of Google Summer of Code students who worked on code for the book: Aleyna
Kara, Srikar Jilugu, Drishti Patel, Ming Liang Ang, Gerardo Durán-Martín. (See https://
probml.github.io/pml-book/gsoc/gsoc2021.html for a summary of their contributions.)
Zeel B Patel, Karm Patel, Nitish Sharma, Ankita Kumari Jain and Nipun Batra for help improving
the figures and code after the book first came out.
Many members of the github community for their code contributions (see https://github.com/probml/pyprobml#acknowledgements)
The authors of [Zha+20], [Gér17] and [Mar18] for letting me reuse or modify some of their open
source code from their own excellent books.
My manager at Google, Doug Eck, for letting me spend company time on this book.
My wife Margaret for letting me spend family time on this book.