专访微软Greg Yang，构建神经网络的底层语言，探索AI的“万物理论”

导读：近日，微软研究院团队联合OpenAI提出了Efficient Hyperparameter Tuning（µTransfer）的方法，能够在小规模预训练模型上寻找到合适的超参数后，按照一定的方法，在更大规模的模型上获得最优的超参配置，极大降低了大模型超参调整的不确定性。

为了进一步解读这一工作背后的意义，智源社区采访了论文一作、微软研究院高级研究员Greg Yang（杨格）。采访中，我们不仅了解了µTransfer的背景，以及项目背后更为远大的目标，也了解到了Greg本人奇特的跨界人生。

图注：Greg Yang

01

从DJ到研究数学：在自由探索中对AI产生兴趣

1.在哈佛期间两度休学，寻找方向

出于对数学的兴趣，Greg一开始就进入了哈佛大学数学系。由于哈佛大学有着非常宽容的休学政策——学生可以随时离开校园，也可以随时回来——Greg下定决心，在读完大二后选择追求音乐之路。

图注：Greg在哈佛大一时表演架子鼓

在一年半的时间中，他从生活的“仓鼠笼”中走出来，好好规划自己的人生。这段时间他可以尽情探索自己的兴趣。

图注：成为DJ的Greg

Greg在这期间得出了以下结论：

1. 他将致力于实现通用人工智能（AGI）：能够制造一个比自己还要聪明的东西，并淘汰掉他自己，是一个“intellectually”极其激动的事情。

2. 他对数学有着内在的激情：由于一系列可预测的课程、作业和竞赛等，他对学习和研究数学的热情变得麻木了。但这次休学让他恢复了往日对数学这一学科的热爱。

3. 数学是我们现实的底层逻辑：它是一切科学和工程的基础语言（Foundation Language），而重大的突破，往往来自揭示问题背后的一些隐藏着的数学结构。即使是不怕数学本身，就能够提供足够的自信，来尝试解决困难的问题，提出新的点子。

休学一年半后，Greg回到哈佛，出版了自己的第一篇论文。之后他再次休学，完成阅读教科书等方面的事情。

在第二次休学期间，深度学习开始快速发展，他痴迷于研究神经图灵机，并借鉴了可微拓扑学中的思路，提出了“Lie Access Neural Turing Machine”，并发表在ICLR上。

同样在那段时期，他发现代数拓扑学和学习理论中的一个有趣的联系。例如，VC维（Vapnik–Chervonenkis Dimension）描述学习一个任务的困难程度的方法，但可以被一个和任务有关的拓扑空间中的“洞”的维度所捕捉到。这种联系可以帮助证明一些计算复杂度的