“远见者”特斯拉AI主管Karpathy｜深度学习崛起十年

来源｜The Robot Brains Podcast

翻译｜刘畅

如果你在网络上学习过深度学习，大概率绕不过斯坦福大学的CS231n，这个发端于2012年的课程，最初的主讲人正是特斯拉AI主管Andrej Karpathy。

当时，新一轮深度学习正迎来高潮，正在斯坦福大学读博的Karpathy收到其导师李飞飞的邀请，计划新开一门深度学习课程，他对教学很感兴趣，更重要的是，他能够解释深度学习方法，希望能让很多人用它来解决计算机视觉问题，于是欣然应允。

在天时地利人和兼具的情况下，这门课成为斯坦福大学最受欢迎的课程之一，并且在网络上爆火，成为最早、最具权威的深度学习课程。这也让他名声大噪，成为一名深度学习和计算机视觉领域的“网红”，不止于此，他还成长为一名AI领域顶尖的远见者和领导者。

Karpathy出生于斯洛伐克，15岁时随家人搬到多伦多，2009年在多伦多大学完成了计算机科学/物理学本科学位，在那里，他听到Geoffrey Hinton讲授深度学习，并对这门技术产生极大兴趣。

后来，他在不列颠哥伦比亚大学完成了硕士学位。2011年，他进入斯坦福大学攻读博士学位，师从李飞飞，主要研究深度学习和图像识别与理解。2016年9月，他加入OpenAI成为创始成员，并担任研究科学家，致力于计算机视觉，模型搭建与强化学习等技术的开发，OpenAI最初也是由特斯拉CEO马斯克支持的人工智能非营利性机构。

在Karpathy与特斯拉团队的数次技术交流后，他受到马斯克的赏识，2017年6月，马斯克将他招募到特斯拉担任人工智能总监，负责Autopilot项目，并向他直接汇报。五个月后，他率先提出“软件2.0”的概念，分析和推测了神经网络将如何深刻地改变开发生态，如今“软件2.0”的思想已经被越来越多的事实验证。

他对AI的远见从何而来？又如何看待AI的当下和未来？在Pieter Abbeel主持的The Robot Brains Podcast节目中，Karpathy分享了自己的成名之路，关于神经网络的看法，并解释了由新编程范式软件2.0，介绍了在马斯克手下的工作体验以及特斯拉的自动驾驶之路。

在本次访谈中，他主要表达了这些观点：

• 神经网络实现了一个完全随机的函数，做完全随机的事情，基本上是从零开始的。你必须告知它在每种情况下该做什么，收集的情景越多，就必须告知它更多，以便它在所有情况下都能做正确的事情。

• 泛化性对于人工智能的运行极其重要，一切都与数据集的管理有关。如果你在业界做AI应用，尤其做图像识别，数据集会迭代很多次，算法设计和建模的优先级更低一点。我在工作中做的很多事情就是整理数据集，而不是编写算法，这是现在所有工程的内容。

• 我们拥有一支高度专业、训练有素的员工来管理数据集，这是正确的方向，因为这是一种新的软件编程范式，他们是软件2.0领域的新程序员，当他们标注样本时，会告知系统如何解释场景，这实际上是在对自动驾驶进行编程。

• 在新的编程范式中，必须围绕数据集管理开发全新的工具，监控神经网络的部署、迭代、微调，新范式编程的一切都是未知领域。

• 如果能训练一个更大的网络，效果会更好，结果会更神奇。

• 归根结底，你需要一个非常健壮的流程来进行真正的测试，并对它进行大量评估，也可能是对所有的单个组件进行评估，确保检测本身正常工作。

• 马斯克可以把一个非常复杂的系统简化为系统的基本原理和系统中最重要的组成部分，然后对这些进行陈述。

以下为完整对话内容，OneFlow社区做了不改变原意的编译。

1

从斯洛伐克少年到特斯拉AI总监

Pieter Abbeel：你是如何从一个15岁的斯洛伐克少年成为特斯拉的人工智能总监的？

Andrej Karpathy：说来话长。15岁时，我在斯洛伐克过的不快乐，那不是一个能施展宏图的地方，我一直想离开，去加拿大或者美国做一些实质性的事情，所以我父母决定移民加拿大，当时我几乎不会说英语，幸运的是，我数学很好，所以能够进入一所高中的好班级并读完高中，并进入多伦多大学计算机科学专业学习。

Pieter Abbeel：这是一个很长的故事，但其中一些部分非常有趣，比如在多伦多大学时，Geoffrey Hinton是第一个向你展示神经网络的人。

Andrej Karpathy：在多伦多大学，通过Hinton的课，我第一次接触了深度学习。当时他给全班学生展示了一个非常简单的原始深度学习，并试图识别一些数字，这些今天来看都是小儿科问题。但他阐述这些算法的方式让我着迷，他一直把它与人类大脑做类比，就像神经网络印在他头脑中一样，一直用拟人化的描述来阐述算法发生了什么。也就是从那时起，我对深度学习产生了极大兴趣，之后也一直从事深度学习领域。

Pieter Abbeel：在斯坦福大学读博士期间，你产出了大量相关研究内容和教学内容，那也让你真正成为深度学习领域的名人，你是怎么做的？

Andrej Karpathy：我想你指的是CS231n（面向视觉识别的卷积神经网络），基本上是我独自一人设计了该门课，然后和李飞飞成为主讲，这也是斯坦福大学的第一门深度学习课，而且非常成功。

我一直热衷于教学，甚至在不列颠哥伦比亚大学读研期间，成为不同班级的助教一直是我履历中的亮点，我喜欢看人们学习新技能，并做一些很酷的事情。

2012年，卷积神经网络Alexnet面世，并在ImageNet基准上有着惊人表现，很多人突然开始关注深度学习。碰巧这是我了解的技术，再加上我对教学充满热情，飞飞找到我，讨论可以开一门深度学习的课程，来教大家这方面的知识。我喜欢这个想法并立刻接受了。

那一年，我只专注于课程和教学设计，把整个博士学位的研究都搁置了。作为一名博士生，你的主要产出是研究成果，这并不是你必须要做的事情。但我觉得，这可能比写一两篇论文更有影响力，我真的喜欢上这门课，并且在努力做好，结果也很令人惊喜。在第一学期课程时，大概有150名学生上课，到我离开时，大约有700名学生，这门课成了斯坦福大学听课人数最多的课程之一。这可能是我博士学位的一大亮点。

Pieter Abbeel：实际上，这门课还被放在了Youtube上，有数十万甚至数百万人观看了你的课程。

Andrej Karpathy：它的影响力确实比我当时预期的要大很多。很多人在不同地方告诉我很喜欢这个课程。我虽然已经听过很多类似的赞誉了，但那总是给我带来同样的快乐。对我来说这是一个非常好的投资，让我非常自豪。

Pieter Abbeel：深度学习课程源于2012年ImageNet上的突破，当时发生了什么？

Andrej Karpathy：正如我提到的，当我第一次在Hinton的课堂上学习深度学习时，我们处理的是28x28的低分辨率图像。当我进入斯坦福大学的计算机视觉专业，主要处理更大、更高分辨率图像的领域，但当时没有人在计算机视觉中使用深度学习，传统观点是，人们认为这些方法无法扩展到高分辨率图像。

当时，Hinton和他的学生Alex Krizhevsky和Ilya Sutskever发表了一篇关于AlexNet的论文，展示了神经网络的一个扩展版本，它不仅仅是一个有几千个神经元的小型网络，实际上是一个有几十万个神经元，连接着几百万个神经元和突触的更大的网络，它运行在GPU上。与当时的计算机视觉方法相比有非常好的性能，直接把这一领域颠覆了。

今天，研究者们不会想在没有深度学习的情况下做计算机视觉。所以，我凑巧处在正确的时间、正确的地点，对教学感兴趣，并且能够解释这些方法，希望能让很多人使用这种强大的技术来解决计算机视觉问题。