天才简史——Diederik P. Kingma与他的Adam优化器

一、了解Diederik P. Kingma

发生日期：2024年6月18日
前几日，与实验室同门一同前往七食堂吃饭。饭间，一位做随机优化的同门说他看过一篇被引18w+的文章。随后，我表示不信，说你不会数错了吧，能有1.8w次被引都算很好的了，大工总被引排名第二的卢湖川教授也才不到5w次。

下午等那位同门发来一看，果真18w+，太强了，这不就Adam优化器嘛，怪不得被被引这么多，机械臂方向会用到优化，机器学习会用到优化，特别是这种基础理论的文章，被引18w就不奇怪了。

之前看到过被引最多的一篇文章是何恺明大神的Deep Residual Learning for Image Recognition这篇文章，目前是22w+次引用，主要这年头做深度学习和人工智能的太多了。何恺明大神目前入职MIT，总被引58w余次，MIT排名第一。我看到的学者里面只比深度学习的提出者Geoffrey Hinton教授要少，目前Geoffrey Hinton教授的总被引83w余次，人家毕竟是2018年图灵奖得主。

跑偏啦，跑偏啦。本来并未想写一篇文章介绍Kingma的，但最近看到一篇Li yanan老师发表在TII上的文章《Dynamic Motion Primitives-Based Trajectory Learning for Physical Human–Robot Interaction Force Control》，然后里面也引用了Adam: A method for stochastic optimization，这不巧了嘛，随后就查阅了Diederik P. Kingma的相关资料，一个字“强”。

二、Diederik P. Kingma介绍

1、Diederik P. Kingma履历

2018-2024：谷歌大脑/DeepMind的研究科学家。领导各种研究项目，主要是文本、图像和视频的生成模型。

2015-2018：OpenAI（旧金山）创始团队和研究科学家的一部分。领导算法团队，专注于基础研究。

2013年至2017年：阿姆斯特丹大学博士（cum laude），导师为Max Welling，研究深度学习和生成模型。博士论文: Variational Inference and Deep Learning: A New Synthesis。2014/2015年夏天在DeepMind进行合作。

2010年至2012年：Advanza的联合创始人和技术负责人，于2016年成功离职。

2009年和2012年：纽约大学研究科学家，Yann LeCun实验室。

注：a. Yann LeCun是2018年图灵奖得主
b. 阿姆斯特丹大学世界排名50左右，和上交差不多。

2、Diederik P. Kingma研究方向

机器学习的可扩展方法，重点是生成模型。代表性贡献包括变分自动编码器（VAE）、Adam优化器、Glow和变分扩散模型。

3、创业经历

Diederik P. Kingma于2015年成为OpenAI创始团队的一员。在此之前，他作为co-founder共同创立了Advanza，该公司于2016年被收购。

4、关于Kingma的名字

Kingma的正式名字是Diederik，但有一个绰号Durk（发音像Dirk）。

三、被引22+w的Adam文章

2020年：根据《Nature Index》和Google Scholar的数据，Adam optimization论文是过去五年中被引用次数最多的科学论文。

Diederik P. Kingma个人主页：http://dpkingma.com/