源|机器之心
始于谷歌,发迹于 OpenAI,这是很多 GPT-4 贡献者的职业轨迹。
这个星期,OpenAI 大模型 GPT-4 的发布让全球科技圈的技术竞争进入了白热化。几天之内,ChatGPT、必应搜索和 Microsoft 365 相继接入 GPT-4,微软的 AI 应用瞬间比竞争对手拉开一个身位,甚至有人说,新的工业革命开始了。
一方面我们被 GPT-4 的效果所震撼,一方面我们也迫不及待的想要了解背后的技术,好奇它的训练方法、使用的算力等。
但遗憾的是,OpenAI 并不 Open。在公开的论文(其实更像技术报告)中,OpenAI 明确地说,GPT-4 模型使用 RLHF 精调外,不会公开任何技术细节。
![2be1ca00f405b5ac5a40c046bfe45389.png](https://i-blog.csdnimg.cn/blog_migrate/afeaca18457f9f273efbacea7b59028e.png)
鉴于 GPT-4 等大型模型的竞争性与安全影响,本报告不包含有关架构(包括模型大小)、硬件、训练计算、数据集构建、训练方法等更多详细信息。
不过,在此报告中,OpenAI 详细列出了贡献者及其负责的工作内容。这值得我们细致研究。这几百人的贡献者名单与分类,能让我了解到 GPT-4 的成功背后包含了哪些部门、技术分枝的努力。
在这篇文章中,我们对有代表性的贡献者进行了盘点,期待能为读者带来启发。
研发人员占绝大多数
从组织架构的设置上看,GPT-4 幕后的研发团队大致可分为七个部分:预训练(Pretraining)、长上下文(Long context)、视觉(Vision)、强化学习 & 对齐(RL & alignment)、评估 & 分析(Evaluation & analysis)、部署(Deployment),以及其他贡献者(Additional contributions)。
预训练部分的工作细分为:
计算机集群扩展(Compute cluster scaling)
数据(Data)
分布式训练基础设施(Distributed training infrastructure)
硬件正确性(Hardware correctness)
优化 & 架构(Optimization & architecture)
Training run babysitting
长上下文部分的工作细分为:
长上下文研究(Long context research)
长上下文内核(Long context kernels)
视觉部分的工作细分为:
架构研究(Architecture research)
计算机集群扩展(Compute cluster scaling)
分布式训练基础设施(Distributed training infrastructure)
硬件正确性(Hardware correctness)
数据(Data)
对齐数据(Alignment Data)
Training run babysitting
部署 & 后训练(Deployment & post-training)
强化学习 & 对齐部分的工作细分为:
数据集贡献(Dataset contributions)
数据基础设施(Data infrastructure)
ChatML 格式(ChatML format)
模型安全(Model safety)
Refusals
基础 RLHF 和 InstructGPT 工作(Foundational RLHF and InstructGPT work)
Flagship training runs
代码功能(Code capability)
评估 & 分析部分的工作细分为:
OpenAI Evals 库
模型等级评估基础设施(Model-graded evaluation infrastructure)
加速预测(Acceleration forecasting)
ChatGPT 评估
能力评估(Capability evaluations)
编码评估(Coding evaluations)
真实世界用例评估(Real-world use case evaluations)
污染调查(Contamination investigations)
指令遵循和 API 评估(Instruction following and API evals)
新功能评估(Novel capability discovery)
……
细读贡献者名单,不难发现,GPT-4 项目团队的成员通常「身兼数职」。对于希望追赶 ChatGPT 的科技公司来说,OpenAI 提供的部门架构样板提供了一些可以学习的思路。另外,它对于 AI 领域人才的未来发展方向或许也有一些启示。
在 ChatGPT 发布之后,OpenAI 在人才招聘方面也做出了一些调整,招募了数十名前谷歌和 Meta 员工来创建人工智能聊天机器人。
在 OpenAI 上,谷歌作为「硅谷黄埔军校」的名头算是坐实了:根据 LeadGenius 和 Punks & Pinstripes 的数据显示,该公司的 300 多名员工(数据截止到 2023 年 1 月)中有许多来自谷歌和 DeepMind 的母公司 Alphabet。数据显示,OpenAI 目前雇佣了约 59 名谷歌前员工和约 34 名 Meta 前员工,同时包括几名苹果和亚马的前逊员工。
![ec353ffa011b7dbcef060b2dc45e0eb0.png](https://i-blog.csdnimg.cn/blog_migrate/994817eb649276a921ff83132349c663.png)
鉴于 OpenAI 在 GPT-4 发布的第一时间就公开了所有贡献者名单,机器之心整理了一部分参与工作的华人学者。如果遗漏,欢迎补充。
预训练组
Trevor Cai
Trevor Cai 是 GPT-4 项目中吞吐量团队的负责人。Trevor Cai 本硕毕业于南加州大学,2022 年 3 月加入 OpenAI。在加入 OpenAI 之前,Trevor Cai 曾在 DeepMind 工作近 5 年,担任软件工程师。
袁启明
![6ad0680f09510e8af9deb76561802dd8.png](https://i-blog.csdnimg.cn/blog_migrate/3c45cc67e8aa7e6644d33dba7ac9f322.png)
袁启明(Qiming Yuan)是 GPT-4 项目数据集来源和处理团队的负责人。袁启明本科毕业于清华大学,硕士毕业于得克萨斯大学奥斯汀分校,2018 年加入 OpenAI。此前,袁启明曾在微软工作近三年。
Che Chang
Che Chang 作为 OpenAI 的副总法律顾问参与了 GPT-4 的研发,他博士毕业于美国西北大学,2021 年加入 OpenAI,此前在 AWS 领导了人工智能 / 机器学习和市场业务的法律团队。最近一段时间,OpenAI 的法律团队还在招聘 AI 产品顾问。
欧阳龙
欧阳龙 2019 年加入 OpenAI,担任研究科学家。Long Ouyang 本科毕业于哈佛大学,博士毕业于斯坦福大学,曾在斯坦福大学任博士后研究员。欧阳龙也参与研发了 ChatGPT 相关的技术项目,他还是 InstructGPT 论文的第一作者。
翁丽莲
![b30b630af57c494e4153014bd93ce014.png](https://i-blog.csdnimg.cn/blog_migrate/31fd9c496ec64e91b49294691b331247.png)
翁丽莲(Lilian Weng)是 OpenAI 人工智能应用研究的负责人,2018 年加入 OpenAI,在 GPT-4 项目中主要参与预训练、强化学习 & 对齐、模型安全等方面的工作。
Tao Xu
Tao Xu 2019 年加入 OpenAI,先后毕业于北京大学、康奈尔大学。Tao Xu 曾在微软的必应机器学习研究组工作四年。
Jie Tang
![230d4a76a6359460c06c4bd59eba1b80.png](https://i-blog.csdnimg.cn/blog_migrate/fecb7ab704ce6dc73db3c83aade7c8d2.png)
Jie Tang 在加州大学伯克利分校获得计算机科学博士学位,导师是 Pieter Abbeel。加入 OpenAI 前,他曾在初创公司和 Dropbox 工作约四年时间。Jie Tang 本科就读于哈佛大学,2008 年获得计算机科学和经济学学士学位。
Ben Wang
Ben Wang 目前是宾夕法尼亚大学本科生,2021 年加入 OpenAI。Ben Wang 参与了 GPT-4 项目的预训练和长上下文方面的工作。
视觉组
Mark Chen
![2bb5ce591fbcb945f6da595be203a4a5.png](https://i-blog.csdnimg.cn/blog_migrate/b4788127597dc7c8ddfe135babbd573c.png)
Mark Chen 2018 年加入 OpenAI,任研究科学家,毕业于麻省理工学院(MIT)。他参与了 GPT-4 项目中视觉方面的工作。
Casey Chu
Casey Chu2020 年加入 OpenAI,毕业于斯坦福大学计算数学专业。Casey Chu 的主要研究方向是多模态 AI 系统,他在 GPT-4 项目中主要参与视觉方面的工作。
胡绳丽
![461b244495161b797663b102d916171f.png](https://i-blog.csdnimg.cn/blog_migrate/82e9fcff30ce4512ad64c4717d067a2f.png)
胡绳丽(Shengli Hu)2022 年加入 OpenAI,她硕士毕业于复旦大学、博士毕业于康奈尔大学。她的研究兴趣在于社会科学、计算语言学、计算机视觉和语音的跨学科研究。胡绳丽曾在自然语言处理、计算机视觉、语音和应用统计方面的顶级会议和期刊上发表过多篇论文,包括 CVPR、ACL、EMNLP、ECCV 等等,并获得过最佳论文奖提名。
Tianhao Zheng
Tianhao Zheng2022 年加入 OpenAI。他本科毕业于清华大学,博士毕业于得克萨斯大学奥斯汀分校。再加入 OpenAI 之前,他曾先后在英伟达、谷歌、Twitter 工作过。Tianhao Zheng 在 GPT-4 项目中主要参与了视觉方面的工作。
翁家翌
![11c5ba9169e4d28482561d515e62a8be.png](https://i-blog.csdnimg.cn/blog_migrate/1cf490f6089289e701a7294fc2166379.png)
翁家翌(Jiayi Weng)2020 年在清华大学计算机科学与技术系获得本科学位。本科在朱军教授组学习期间,主要参与了强化学习算法库 Tianshou(天授)的开发,该项目已获得 5.9K GitHub Star。CMU 硕士毕业后,翁家翌加入 OpenAI 任研究工程师。
强化学习 & 对齐组
Chong Zhang
![f0482a992c254e9b2a28a1243a801263.png](https://i-blog.csdnimg.cn/blog_migrate/17873c6ef39a94e32b9236644ba7c9cb.png)
Chong Zhang 2010 年就读浙江大学计算机系,2014 年在加拿大西蒙弗雷泽大学获得学士学位,随后在谷歌、苹果公司担任工程师。2019 年就读加州大学洛杉矶分校,2021 年获得计算机硕士学位后,在 OpenAI 工作至今。
Shengjia Zhao
![f2e55ec67d7998a766905331248a3238.png](https://i-blog.csdnimg.cn/blog_migrate/ec7e7a4357f07c7e4cb6c1c045932cf2.png)
Shengjia Zhao2016 年本科毕业于清华大学,2022 年在斯坦福大学获得计算机科学博士学位,师从 Stefano Ermon,随后加入 OpenAI。
Stephanie Lin
![13e843dbfc8a11281e64ac3620209674.png](https://i-blog.csdnimg.cn/blog_migrate/fe4fd11f319c21a0ccfa15bb49e88cc8.png)
Stephanie Lin 本科和硕士期间分别就读于麻省理工学院和佐治亚理工学院。加入 OpenAI 之前,她曾是牛津大学研究学者。
Tong Mu
![8fbf489ade606efc5986fa2333e095be.png](https://i-blog.csdnimg.cn/blog_migrate/76f782386897c3a38d8b637bfde8566a.png)
Tong Mu 本科就读于加州大学洛杉矶分校,后在斯坦福大学获得博士学位。2022 年加入 OpenAI。
Jeff Wu
![85868a917ba2aa4329eafeab75c68d56.png](https://i-blog.csdnimg.cn/blog_migrate/3a261667985e9c04126caea6a77d16a6.png)
Jeff Wu 本硕均就读于麻省理工学院。他是初创公司 Terminal.com 的第二名员工,该公司被收购后,他曾在谷歌工作约 2 年的时间。2018 年,Jeff Wu 加入 OpenAI。
肖凯
![76c0db9696a0f12670beb6d8475fc1ba.png](https://i-blog.csdnimg.cn/blog_migrate/eff60956c0f71db50b9baa7687976c76.png)
肖凯(Kai Xiao)在麻省理工学院获得了学士学位和博士学位,曾在微软、DeepMind 等机构实习。2022 年 9 月加入 OpenAI。
Kevin Yu
![0389944dd935e788223d89b8cca286be.png](https://i-blog.csdnimg.cn/blog_migrate/4d9b481eacb282ecd1bf934f2d3b3c4c.png)
Kevin Yu 在加州大学伯克利分校获得物理学学士学位及神经科学博士学位。2022 年加入 OpenAI。
Haozhun Jin
![c7397f0bb9bf4b3c9bc1015743ccee30.png](https://i-blog.csdnimg.cn/blog_migrate/24043f98ad12a820186dfa73620bfd0c.png)
Haozhun Jin2013 年本科毕业于清华大学计算机系,2015 年获得斯坦福大学硕士学位。2015 年到 2018 年,他在 Meta 担任软件工程师,2023 年 1 月加入 OpenAI。
顾世翔
![8d213e8854f806ca99e9aa803aacc629.png](https://i-blog.csdnimg.cn/blog_migrate/f905cdb3fd83528150bb4c8ad175d1a9.png)
顾世翔是出生于日本的加拿大华人,曾是谷歌研究院研究科学家,研究领域包括深度学习、强化学习、概率机器学习和机器人技术。他拥有剑桥大学和马普所智能系统研究所的机器学习博士学位,在多伦多大学获得了工程科学学士学位,论文指导教授为 Geoffrey Hinton。
评估 & 分析团队
Alvin Wang
![9daecdf89ec8a47b93db1e2fb01be513.png](https://i-blog.csdnimg.cn/blog_migrate/9a949165beca4dea76c4a8a182666584.png)
Alvin Wang2022 年 8 月加入 OpenAI,为评估 & 分析团队核心贡献者之一。此前他曾在 VMware、Tesla 等公司工作过几年。2013 年本科毕业于南加州大学。
Angela Jiang
![178541d135ce9399be8d199afd395f58.png](https://i-blog.csdnimg.cn/blog_migrate/ebcb29d8ca854017262176c378b21326.png)
Angela Jiang 于 2021 年 11 月加入 OpenAI,在微软和谷歌有过短暂的工作经历,她本科毕业于西北大学,于 CMU 获得博士学位。
Jason Wei
![ebe0b9838c39a833729253b2a4a68cf4.png](https://i-blog.csdnimg.cn/blog_migrate/9b3cb4e7a6d001e48ff6100ad1dd00e3.png)
Jason Wei 于今年 2 月加入 OpenAI,主要研究 ChatGPT。此前他是谷歌 Brain 的高级研究科学家,在那里推广了思维链提示,并共同领导了指令调优工作。他在谷歌和 Jeff Dean 等人共同撰写了关于大模型涌现能力的论文。
Juntang Zhuang
![524ce929a4588c5cec559946915f9cb0.png](https://i-blog.csdnimg.cn/blog_migrate/d36ab192741cc8d0eabd0a9e378b88b6.png)
Juntang Zhuang 于 2022 年 4 月加入 OpenAI,此前曾在谷歌实习四个月。他本科毕业于清华大学,硕士毕业于耶鲁大学,并在耶鲁大学拿到博士学位。他的研究主要是为生物医学应用开发新的机器学习技术。
Derek Chen
![744a10b36982a37f7a6ef57f828f54b5.png](https://i-blog.csdnimg.cn/blog_migrate/9f2257f5c462f58ea66d390b78f6eb2c.png)
Derek Chen 于 2021 年加入 OpenAI,是一名技术安全分析师。他毕业于美国东北大学,此前在谷歌工作过不到一年的时间。
宋飏
![a18f0c2d88a60778590e039e4c8b51a8.png](https://i-blog.csdnimg.cn/blog_migrate/cd2e793c12c02f8bd3959ab6d6b5c8e9.png)
宋飏(Yang Song)目前在 OpenAI 担任研究员,并将于 2024 年 1 月加入加州理工学院电子系(Electrical Engineering)和计算数学科学系(Computing and Mathematical Sciences)担任助理教授。宋飏本科毕业于清华大学数理基础科学班,2022 年获得斯坦福大学计算机科学博士学位,师从 Stefano Ermon。他的主要研究方向是机器学习,包含深度生成式模型(deep generative models),概率推理(probabilistic inference),人工智能安全性(AI safety),以及人工智能方法与其他科学领域的交叉(AI for science)。他是扩散模型(diffusion models)和分数匹配生成式模型(score-based generative models)的主要奠基人之一。他发表在 NeurIPS 2019 的工作首次在图片生成质量上实现了对生成对抗网络(GAN)的超越。博士期间他的一作论文获得了 ICLR 2021 杰出论文奖,相关研究获得了苹果奖学金、摩根大通奖学金,以及 WAIC 云帆奖。
模型部署
Michael Wu
![453bd5dcb6a196f8ae351f250b2b1eac.png](https://i-blog.csdnimg.cn/blog_migrate/9f0d4a42e7b8a09df31a928dd8cf7413.png)
Michael Wu 2021 年加入 OpenAI,主要的工作是人工智能应用研究。Michael Wu 毕业于 MIT,是 GPT-4 项目的推理研究负责人。
Andrew Peng
![328c2d0b81ddc84f1c9c2435374d6f0b.png](https://i-blog.csdnimg.cn/blog_migrate/25757b8c356b8877a99dc3e384b48dcd.png)
Andrew Peng 2022 年底加入 OpenAI,他曾经在微软工作两年。Andrew Peng 毕业于加州大学伯克利分校,主要参与 GPT-4 API 和 ChatML 部署方面的工作。
吴雪枫
![2aa44736c4b44b51623a7406a1b1135a.png](https://i-blog.csdnimg.cn/blog_migrate/634276652cfd37d0085de91a7cce0ea1.png)
吴雪枫(Sherwin Wu)2022 年加入 OpenAI,主要的工作是人工智能应用及 API 开发。吴雪枫毕业于 MIT,在 GPT-4 项目中主要参与 API 开发和 ChatML 部署方面的工作。
Jason Chen
![83bfdb171c52b1f615d825c3f33c6d0a.png](https://i-blog.csdnimg.cn/blog_migrate/e62f26c12b689399bd50b4b153b9f616.png)
Jason Chen 本科就读于麻省理工学院,2007 年到 2014 年期间在谷歌担任软件工程师,2014 年到 2019 年任职于初创公司 Apptimize,2019 年到 2023 年 2 月任职于 Argo AI,2023 年 2 月加入 OpenAI。
其他贡献者
Xin Hu
![07481d38fdfb5badc400ef3e3cca1b1c.png](https://i-blog.csdnimg.cn/blog_migrate/f30ddf97d7f3831b22e311bbfac33ad0.png)
Xin Hu 于 2022 年 6 月加入 OpenAI,主要负责开发用于云安全、k8s 安全、认证 / 授权和访问控制的安全服务和平台。
此外,在 GPT-4 的开发上 OpenAI 也对微软表示了感谢,特别是微软 Azure 服务为模型训练提供了基础架构设计和管理方面的支持,微软必应团队、安全团队也对 GPT-4 的部署等工作作出了贡献。
后台回复关键词【入群】
加入卖萌屋NLP、CV、搜推广与求职讨论群
[1]https://openai.com/contributions/gpt-4?continueFlag=ee0eebd278339fc5ba428add63b4b4fd
[2]https://cdn.openai.com/papers/gpt-4-system-card.pdf