理解为何用期望最大化或梯度下降等启发式方法处理非凸函数在实际中如此有效，对于理论计算机科学而言是一大挑战

理解为何用期望最大化或梯度下降等启发式方法处理非凸函数在实际中如此有效，对于理论计算机科学而言是一大挑战

一本关于理论计算机科学和机器学习之间关联的高水平、快节奏的集大成之作—《机器学习算法》

计算机系统能力培养 昨天

 

【导读】近年来，有关机器学习的著作非常多，但是关于理论计算机科学和机器学习之间关联的书却不多见，今天要介绍的这本书《机器学习算法》，就是一本关于理论计算机科学和机器学习之间关联的高水平、快节奏的大作。

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，主要研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断完善。

机器学习正在开始接管我们生活中方方面面的决策，包括：

1）保证我们在自动驾驶汽车上的日常通勤安全。

2）根据我们的症状和病史做出准确的诊断。

3）定价和交易复杂证券。

4）发现新科学，例如各种疾病的遗传基础。

但是令人惊讶的事实是，这些算法在没有任何可证明的行为保证下工作。当面临一个优化问题时，它们是否真的找到了最优解，或者只是一个不错的解？当它们假定一个概率模型时，是否能够从真实的后验分布中纳入新的证据和样本？机器学习在实践中非常有效，但这并不意味着我们理解它为什么如此有效。

如果你已经上过传统算法课程，通常会通过最坏情况分析来考虑算法。当你使用一个排序算法时，会根据其在最坏可能输入情况下执行的操作次数来衡量其运行时间。这是一种很方便的约束类型，因为这意味着你可以对你的算法所需的时间进行有意义的说明，而不必担心你通常提供给它的输入类型。

但是，机器学习算法（尤其是现代算法）的分析如此具有挑战性的原因是，它们试图解决的问题类型在最坏输入情况下实际上是NP-hard问题。当你将寻找最适合你的数据的参数的问题转换为优化问题时，有时会像NP-hard问题一样很难找到一个好的解。当你假定一个概率模型并想使用它来进行推理时，有时也会遇到NP-hard的情况。

近年来，有关机器学习的著作非常多，但是关于理论计算机科学和机器学习之间关联的书却不多见，今天要介绍的这本书《机器学习算法》，就是一本关于理论计算机科学和机器学习之间关联的高水平、快节奏的大作。

 

              扫码看本书详情，仔细挑

机器学习算法

作者：[美] 安柯·莫特拉(Ankur Moitra) 

ISBN: 978-7-111-68048-2

    作者安柯·莫特拉（Ankur Moitra）是麻省理工学院洛克威尔国际数学系副教授，麻省理工学院计算机科学和人工智能实验室（CSAIL）的首席研究员，也是计算理论小组、机器学习和统计中心的核心成员。他的工作目标是通过开发在行为推理方面具有可证明的保证和基础的算法，来在理论计算机科学和机器学习之间架起一座桥梁。

   本书主要内容就是基于安柯·莫特拉（Ankur Moitra）2013年秋季、2015年春季和2017年秋季在麻省理工学院开设的“AlgorithmicAspects of Machine Learning”课程编撰而成，系统讲解了理论计算机科学和机器学习这两个领域能够互相借鉴的知识。

  

莫特拉通过尝试为数据找到更现实的模型，来解决为机器学习提供可证明保证的问题。在许多应用中，我们可以根据问题的出现背景进行合理的假设，从而绕过这些最坏情况的障碍，并严格分析实际中使用的启发式方法，以及从根本上设计出解决机器学习中一些核心、重复性问题的新方法。

 退一步讲，越过最坏情况分析的想法与理论计算机科学本身一样古老（毕竟，在真实输入上表现良好的启发式方法也是古老的（比现代机器学习早很多），因此需要解释它们）。实际上，理解“典型”实例上算法的行为，有许多不同的含义，包括：

1）输入的概率模型，甚至是结合最坏情况和平均情况分析的混合模型，如半随机模型或平滑分析。

2）度量问题复杂度以及要求算法针对简单输入速度快的方式，例如参数化复杂度。

3）稳定性概念，它试图阐明问题的哪些实例具有有意义的答案，以及哪些实例正是你实际想要解决的。

这绝不是主题或参考的详尽列表。无论如何，在本书中，我们将通过关于如何解决棘手问题的见解来处理机器学习问题。

最终，我们希望理论计算机科学和机器学习之间有很多可以互相借鉴的地方。理解为何用期望最大化或梯度下降等启发式方法处理非凸函数在实际中如此有效，对于理论计算机科学而言是一大挑战。但要在这些问题上取得进展，我们需要明白在机器学习背景下，哪种类型的模型和假设具有意义。另外，如果我们在这些困难的问题上取得进展，并探索出关于启发式方法为什么如此有效的新见解，就有希望对它们进行更好的设计。我们甚至可以希望找到全新的方法来解决机器学习中的一些重要问题，尤其是通过利用算法工具包中的现代工具。

                           

大伽推荐：

一本关于理论计算机科学和机器学习之间关联的高水平、快节奏的集大成之作—《机器学习算法》

该书还具有以下特点：

• 第一、强调对灵活且易于操作的模型的需求，以简化机器学习。

• 第二、介绍机器学习中的重要模型和主要问题，涵盖非负矩阵分解、主题模型、张量分解、稀疏恢复、稀疏编码、高斯混合模型和矩阵补全等。

• 第三、以一种容易理解的方式介绍机器学习领域的前沿研究成果以及现代算法工具，包括矩量法、张量分解法和凸规划松弛法。

作者简介：

安柯·莫特拉（Ankur Moitra） 麻省理工学院洛克威尔国际数学系副教授。他是麻省理工学院计算机科学和人工智能实验室（CSAIL）的首席研究员，也是计算理论小组、机器学习和统计中心的核心成员。他的工作目标是通过开发在行为推理方面具有可证明的保证和基础的算法，来在理论计算机科学和机器学习之间架起一座桥梁。他是帕克德奖学金、斯隆奖学金、美国国家科学基金会（NSF）终身成就奖、NSF计算与创新奖学金和赫兹奖学金的获得者。

译者推荐：

虽然机器学习的覆盖范围比较广，但本书主要集中在处理矩阵数据的矩阵运算算法方面，专业性比较强。相对于以往专注于机器学习理论以及机器学习算法实践方面的书籍，本书应该介于这两者之间，目的是使读者针对算法“知其然且知其所以然”。本书可以作为相关专业本科高年级学生或研究生的教材。