应用数学家Lek-Heng Lim使用代数、几何和拓扑的工具来回答机器学习中的问题

来源：ScienceAI

芝加哥大学应用数学家 Lek-Heng Lim 说：「当它更高级时，任何主题都会变成数学。」

Lek-Heng Lim 渴望一场将纯数学和应用数学重新结合起来的复兴。他指出，这种区别在现代数学中似乎是基本的，实际上是最近才出现的。「纯数学和应用数学之间的分界发生在过去 80 年，」Lim 说。「我会主张回到过去。」

Lim 的研究让我们离这次重聚更近了一步。他使用代数、几何和拓扑等纯数学领域开发的工具研究机器学习和其他应用学科。

Lim 现在是芝加哥大学的教授，但在新加坡长大的他「对数学不太感兴趣，」他说。到了高中，他和一位正在读硕士的物理老师谈起老师的研究。

谈话激起了他对规范理论的兴趣。他说，这门学科「当然是物理学」，「但它非常数学化，将物理量建模为数学对象。」 谈话使他踏上了成为数学家的旅程。

「大部分内容都在我脑海中浮现，但有些条款让我印象深刻，」Lim 说。「当我后来在教育中遇到他们时，感觉就像遇到了一位老朋友。」

2022 年，Lim 获得古根海姆奖（Guggenheim fellowship）。「Lek-Heng 是一位杰出的数学家，」杜克大学统计学教授 Sayan Mukherjee 在推荐古根海姆时写道。「他是他那一代最强大的应用数学家，他致力于数据科学的数值方法、代数和算法的接口。」

「我满足于填补我知识中的坑洞，」Lim 说。

将纯数学和应用数学之间的关系描述为不断发展是否公平？

是的。有点不幸的是，我们甚至在讨论纯数学和应用数学之间的关系。这意味着它们是独立的实体。

看看从前的日子。看看高斯、费马或欧拉。甚至晚到冯诺依曼或希尔伯特的人。他们似乎没有做出那种区分。对他们来说，一切都是纯数学，一切都是应用数学。

高斯的工作不仅仅是二次互易和高斯曲率。这也是诸如最小二乘问题和试图找到行星轨迹之类的事情。本质上，他发明了线性回归。这在统计中非常重要。

看看希尔伯特著名的 23 个问题清单。其中一些在应用数学和动力系统方面有着深厚的根基。其中一些植根于纯数学和逻辑。

冯诺依曼对量子力学、数理逻辑、数值分析、博弈论和算子代数感兴趣。

当然，这两个领域现在都非常广泛，任何人都不可能知道所有事情。我认为，在应用数学方面，纯数学家应该知道某些事情。坦率地说，应用数学家通过提高他们对几何、拓扑和代数方面的现代工具的认识，可以获得很多收获。

在 2020 年的一篇论文中，你将深度神经网络与拓扑联系起来。如何？

论文链接：https://dl.acm.org/doi/abs/10.5555/3455716.3455900

过去，计算机发现很难做一些人类可以轻松完成的事情：比如识别咖啡杯不是猫。即使是年幼的孩子也可以相对轻松地做到这一点。但是计算机没有这种能力。

这种情况在 2012 年左右开始发生变化。深度神经网络是关键，这意味着具有多层的神经网络。我猜，发生的事情是这些层意味着什么。这是我的看法。

我和我的博士生 Greg Naitza 一起研究这个问题。他现在在 Facebook 工作。这个想法是：让我们举个例子，所有猫图像的集合和所有不是猫的图像的集合。我们将把它们视为 [拓扑形状或流形]。一个是猫的流形，另一个是非猫的流形。这些将以某种复杂的方式交织在一起。为什么？因为有些东西看起来很像猫，但它们不是猫。美洲狮有时会被误认为是猫。重要的是，两个流形以某种非常复杂的方式交织在一起。

这些如何阐明神经网络？

我们进行了实验以证明这些流形得到了简化。最初，它是两个复杂的形状，错综复杂地交织在一起，但它被简化了。我如何测量形状的这种简化？嗯，有一个工具是计算拓扑的支柱。这使我们能够测量这些物体的形状。

这是什么工具？

这是持久的同源性。

首先，同源性本质上是一种将不同类型的几何对象的不同孔分类到变形的方法。从同源性的角度来看，几何上看起来非常不同的孔看起来是相同的。

如果我只有从流形中采样的点而不是整个流形的知识怎么办？例如，猫的形象：你在电脑屏幕上看到的猫的形象和真正的猫有什么区别？一张图片有像素，所以如果你放大得足够远，你只会看到离散的点。那样的话，我怎么谈同源性呢？

林和他的学生 Zehua Lai。他们一起证明了一个长期存在的机器学习猜想是错误的。

在每一点，围绕该点取一个小球。我看到两个球在哪里重叠，三个球在哪里重叠，等等。根据这些数据，它可以为你提供基础流形同源性的估计。当我们只有一个离散点样本时，这允许我们谈论流形的同源性。

我用它来测量流形穿过神经网络层时的形状。最终，我可以证明它可以简化为最简单的形式。

这些结果是否有助于我们了解神经网络中发生的事情？

有一个术语叫做可解释的人工智能。从本质上讲，你的神经网络或机器学习模型将为你提供答案，而你想知道它是如何得出该答案的。

你可以将神经网络视为一种用于简化所研究流形拓扑结构的设备。现在你可以解释它是如何做到这一点的。

是什么让你意识到纯数学工具对你的应用数学研究很有用？

我很好奇人们通常不认为是应用数学的合法主题的事情。因此，我可以看到某些工具的相关性，这些工具对于传统上接受过应用数学培训的人来说并不是直接的。

你使用此类工具的另一个例子是什么？

我的博士生 Zehua Lai 和我证明了一个长期存在的机器学习猜想是错误的。

现代机器学习问题通常涉及用大量数据拟合大量参数。据传，GPT-4 是 ChatGPT 底层引擎的下一代迭代，具有 1 万亿到 100 万亿个参数。现有的计算机无法同时处理所有这些参数。因此，在每一步中，算法都会选择一小部分随机参数（无论计算机可以处理什么），然后只使用这些参数。

「我很好奇人们通常不认为是应用数学的合法主题的事情，」Lim 说。

选择一个小的随机子集称为抽样。现在的问题是：在算法的后续步骤中，它应该选择我们之前在前面步骤中已经选择的参数，还是应该排除那些？换句话说，它应该对参数进行替换或不替换采样吗？这是我们的算法在涉及到随机化时，总是需要考虑的问题，所以这是一个非常基础和重要的问题。

大约 10 年前，Ben Recht 和 Chris Ré 表明，如果特定不等式的某种类比成立，不放回抽样比放回抽样更好。多年来，人们证明了这种不平等的各种情况 我们表明，一般来说，不等式不成立。

你是怎么做到的？

最终，回答这个问题的方法是使用一种来自代数几何的工具，称为非交换正数集（Noncommutative Positivstellensatz）。有点拗口。这是一个德语词，本质上是指多项式正点的位置。

非交换 Positivstellensatz 是一种叫做 Positivstellensatz 的更复杂的版本。它适用于变量不交换的多项式——其中像 xyx^2 这样的项不能简化为 x^3y。当我们想插入 x 和 y 的矩阵时，这样的非交换多项式非常有用。

对随机算法感兴趣的人可能不会知道 Positivstellensatz，因为它是代数几何中的东西。即使在代数几何中，它也不是标准知识。

你觉得做数学研究最令人满意的是什么？

我满足于满足我的好奇心。有些人想要解决大猜想。他们喜欢建造摩天大楼，可以这么说。

我满足于填补我知识中的坑洼。当它更高级时，任何主题都变得数学化。不管是经济学、社会科学、心理学，我能想到的，归根结底都是数学。

作为一名应用数学家，你可以自由地探索你感兴趣的其他领域。如果你是一个对很多东西都很好奇的人，这会非常令人满意。

参考内容：https://www.quantamagazine.org/an-applied-mathematician-strengthens-ai-with-pure-math-20230301/

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”