人工智能基础第二版《Foundations of Machine Learning》

前言

        这本书是机器学习的一般介绍，可以作为研究人员的参考，也可以作为学生的教科书。它覆盖了机器学习基本现代主题，同时提供了讨论和算法论证所需的理论基础和概念工具。并且，这本书还描述了这些算法应用的许多关键部分。

        我们致力于用最新颖的理论工具和观念提供简明的证明，即使是相对先进的结果也会采用这种方法。总而言之，只要有可能，我们就会选择简洁。然而，我们会讨论出现在人工智能领域的某些关键的复杂主题，并且会强调部分开放的研究问题。部分课题通常会和别的主题融合在一起，因而可能不会得到充分的重视，在这里我们会单独讨论加以强调：例如，保留一个不同章节用于阐述多元分类 ，排序和回归。

        尽管本书十分全面地覆盖了人工智能领域的重要主题，但是为了简洁起见，我们不得不删除部分重要的主题，比如几何模型，神经网络，其中也是因为目前这些方法缺乏坚实的理论保障。

        这本书是为学生和研究人工智能、统计以及其他范畴的专业人员而写的。它可以当作研究生和高年级本科生的人工智能课堂的教科书，它同样也可以作为研究研讨会的参考文本。本书前面的三到四章节主要是打下理论基础，除了第6章和第13章(与第12章密切相关)，其他章节大多是自成一体的。并且，第6章介绍了一些在以后的章节中广泛使用的概念。每个章节都包含了一系列的练习。并分别给出完整的解决方案。

        我们假定读者已经对基本的线性代数、概率论以及算法分析知识已经很熟悉了。然而，为了进一步帮助读者掌握知识，这本书也包括了一个广泛的附录，提供了线性代数的简明回顾，凸优化的介绍，概率论知识的简要回顾，关于集合不等式知识的分析和讨论，一些简短的信息理论等等。

        我们的目标是在众多主题和领域中，给予读者同一的介绍，这和一些采用更专业的表示书籍不同。那些书倾向于一个特定的观点（比如贝叶斯观点），或者一个特定的主题（比如内核方法）。这本书的理论基础和它对证明和分析的刻意强调使得它区别于其他介绍。

        在第2版中，我们更新了整本书的内容。这些改变包括在大多数章节的不同的写作风格，新图标和插图。简化或者补充已经存在的章节中，特别是第6章和第17章和一些新章节。

        我们在第4章中增加了关于模型选择的完整章节，这是一个重要的话题，但在之前的版本中，我们只是简略地谈了谈。我们还在第12章中增加了关于最大熵模型和在第13章中增加了条件最大熵模型，这些内容都在机器学习中起着举足轻重的作用。同时，我们还对附录做了些改变。特别是我们在附录B中增加了关于凸优化Fenchel对偶性的完整章节，对附录D做了一些关于集中不等式的增加和改变，在附录E中增加了信息理论，并更新了部分材料。此外，我们还在现有章节和新章节中增加了大量新练习和答案。

        本书中的大部分材料都源于研究生课程《机器学习基础》中，这门课在纽约大学由朗库数学科学机构的第一作者所教授已经过去14年了。这本书很大程度上受益于学生在课堂中提出的观点和建议，同时我们也深深感激我们的朋友、同事和一些研究人员为此书提出的建议。

        我们特别感谢提出重大建议和组织了第一版的发表素材的Corinna Cortes和Yishay Mansour，我们充分考虑了这些建议，并且充分改进了介绍。同时，我们也很感激Yishay Mansour用第一版书进行授课，并且向我们提出反馈。

        我们同样也很感激一下为本书进行讨论、提出建议和作出其他贡献的同事，和来自学术界和企业关研究机构的朋友：Jacob Abernethy, Cyril Allauzen, Kareem Amin, Stephen Boyd, Aldo Corbisiero, Giulia DeSalvo, Claudio Gentile, Spencer Greenberg, Lisa Hellerstein, Sanjiv Kumar, Vitaly Kuznetsov, Ryan McDonald, Andr`es Mu˜noz Medina, Tyler Neylon, Peter Norvig, Fernando Pereira, Maria Pershina, Borja de Balle Pigem，Ashish Rastogi, Michael Riley, Dmitry Storcheus, Ananda Theertha Suresh, Umar Syed, Csaba Szepesv´ari, Toshiyuki Tanaka, Eugene Weinstein, Jason Weston, Scott Yang, and Ningshan Zhang.

        最后，我们感谢麻省理工出版社团队对改进本书的帮助和支持。