Sora背后团队解密:应届博士带队,00后入列,还专门招了...?

克雷西 鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI

现在世界上最受关注的技术团队是哪一支?

Sora团队,已经来到聚光灯中心。

不仅项目负责人评论区被挤爆,成了𝕏最ecdb150228afe3ce20eb32a6a9058105.png“景点”。

bc83d03f9220c78a410b03925703f61b.png

天才成员们的履历,也正在持续引爆关注。

55f6e4c63e072b7d80fd37b1fed9f598.png
来自微博博主@木遥

大家伙发现,这支团队挺年轻:两位负责人都是在去年(2023年)刚刚博士毕业,团队里甚至还有00后选手……

3f0610f7c218656d776b38f5e2ea8a9d.png

78d196aac5ceb8c346ca7489987bb1fd.pngdc7e297fa76b03aac45a6d5cead2deb5.png也是真的牛:

Tim Brooks,DALL-E 3作者之一,GitHub 5.7k19b07a512476bda502dab2835b5c043f.png️项目InstructPix2Pix作者,2021-2022年在英伟达实习时,就是视频生成研究的项目负责人。

William (Bill) Peebles,和谢赛宁合作,搞出了Sora的技术基础之一DiT(扩散Transformer)。论文还曾入围CVPR 2022最佳论文候选。

……

这支团队到底什么来头,咱们今天一起仔细聊聊。

应届博士带队

包括Tim和Bill在内,Sora的主要负责人一共有三名(以下排名不分先后)。

Tim Brooks,也是DALL-E 3的作者,去年1月刚从加州大学伯克利分校博士毕业。

43f733e254e5a606525e982c7a4ff224.png

Tim本科就读于卡内基梅隆大学,主修逻辑与计算,辅修计算机科学,其间在Facebook软件工程部门实习了四个月。

2017年,本科毕业的Tim先到Google工作了近两年,在Pixel手机部门中研究AI相机,之后到了伯克利AI实验室攻读博士。

在伯克利读博期间,Tim的主要研究方向就是图片与视频生成,他还在英伟达实习并主导了一项关于视频生成的研究。

回到校园后,Tim与导师Alexei Efros教授和同组博士后Aleksander Holynski(现在谷歌)一起研制了AI图片编辑工具InstructPix2Pix,并入选CVPR 2023 Highlight。

0fa890d2ec58f66d39a1d90e00cce20c.png

去年一月,Tim顺利毕业并取得了博士学位,转而加入OpenAI,并相继参与了DALL-E 3和Sora的工作。

值得一提的是,Tim不仅在专业领域拥有高超的技术水平,还是个多才多艺的人。

据Tim自己介绍,他还喜欢摄影和音乐,高中时他拍摄的照片获得过National Geographic颁发的奖项,本人到过百老汇演出,还获得过B-box国际奖项……

29dcfceffb82d614a47b51fcdc080c11.png

而与Tim师出同门、晚毕业4个月的William Peebles,也是Sora的另一名负责人。

(Peebles在𝕏上用昵称Bill,在Linkedin上及论文署名时用大名William,下文一律用Bill指代。)

a3a6ad6a30cc77b91b8abbf531eed9e9.png

Bill本科就读于MIT,主修计算机科学,参加了GAN和text2video的研究,还在英伟达深度学习与自动驾驶团队实习,研究计算机视觉。

毕业后正式开始读博之前,他还参加了Adobe的暑期实习,研究的依然是GAN,该项目和(时任)卡内基梅隆大学华人学者朱俊彦(也是Efros教授学生,现在在MIT)组有合作,并成为CVPR 2022最佳论文候选。

bb7600aeddba1dc935c7d7cc1fa1baa5.png

之后,学期开始,Bill到了伯克利Efros教授课题组攻读博士,研究成果多次入选SIGGRAPH、ICCV、CVPR等学术会议。

2022年5月,Bill到Meta进行了为期半年的实习,和谢赛宁(Bill开始实习时还未离开Meta)合作发表了DiT模型,首次将Transformer与扩散模型结合到了一起。

该成果被ICCV 2023录用为Oral论文。值得一提的是,OpenAI此次发布的Sora,被认为正是基于DiT构建的。

6b70a254eeea7c95bbf73f19b2551242.png

去年5月,Bill也从伯克利毕业,并入职OpenAI。

除了这两位去年加入的研究者,Sora团队的另一位负责人Aditya Ramesh则是OpenAI的“老人”。

d0901196beab0e2c6cc03fb961b41a54.png

Aditya是DALL-E的创造者,主导了三代DALL-E的研究,三个版本的论文当中他都是共同一作。

13b919e63a17e29f55fc1d484f354511.png

而这样一位主导三代DALL-E,如今又领导Sora团队的大神,却只有本科学历。

据LeCun介绍,Aditya本科就读于纽约大学,并在他的实验室参与过一些项目。

59d741c763a950e4f56ea984b5e59cb8.png

其间,Aditya就已经在研究生成式模型,并和LeCun共同发表论文。

7ad4d1b3544b22e437f181b1c0545f98.png

毕业之后,Aditya本想继续深造,但在OpenAI的暑期实习中被留了下来,成为了正式研究人员。

00后已加入

Sora团队的本科生,还不止Aditya Ramesh一位。

前文提到,这支团队中有一位“00后”Will DePue,就是2022年才刚从密西根大学计算机系本科毕业的。

002664523da99382c44deb39c630509c.png

这位小哥大四的时候创业搞了个市场咨询公司DeepResearch,这家公司后来被Commsor收购。

2023年7月,小哥加入OpenAI。根据他的领英信息,他是在今年1月才刚刚加入Sora项目组的。

另外,David Schnurr和Joe Taylor也都没有博士学位。前者毕业于加州大学圣塔芭芭拉分校,后者毕业于美国旧金山艺术大学。

而正如Aditya Ramesh自己所说,Sora团队的不少成员都是DALL-E 3的作者。

29239962c0bfff9749a0d2d6fea39770.png

包括两位华人Li Jing和Yufei Guo。

Li Jing是DALL-E 3的共同一作,2014年本科毕业于北京大学物理系,2019年获得MIT物理学博士学位。在Meta做了2年多博士后之后,Li Jing于2022年加入OpenAI。

华人作者中还有Ricky Wang,今年一月刚刚从Meta/Instagram跳槽到OpenAI,另外两位Yufei Guo、Clarence Ng没有太多公开资料。

新跳槽来的还有Conner Holmes,他在微软工作时以外援形式参与了DALL·E 3的推理优化工作,后来干脆加入OpenAI了。

最后,来看一眼完整作者名单:

57be871b51de58e5b30c62589fbe0ee2.png

从团队的组建情况和研究基础来看,Sora应该是OpenAI近半年来的最新成果,而非网传“早已有之但憋着不发”。

不过,Sora炸场,顶级人才又持续星聚,还是惊得众人开始重新考量OpenAI的技术领先性。

就在今天,作者释出的Sora新作,连“同一场景”下的多机位视频都整出来了。

cdc7544295e4eaf7a8ac989fe4f08b0a.gif

网友们的心情be like:

e11dec3a8a8c1eefec01d98816937aac.png

现在,是视频生成,下一个又会是什么?

“不学习AI,下一个被取代的可能就是你!”

现在AI不断渗入我们的生活,每当AI发展一步,必然会有人失业,这是大势所趋,谁都无法阻挡。

但与其悲观的抗拒,不如好好思考一下该如何用AI赋能、掌控AI,打不过就加入😆

所以,2024年你必须找一个组织,跟着一起破局,2.28日,国内最大的 AI 赚钱社区 AI破局俱乐部,开始全网拉新,并且在 3.25 日进行本年度第一次航海实战,实战内容如下:

6cdc1fddb458fbc9b6f944082d4b9c99.jpeg

星球内成员,这些项目一年可以参加多次,都是免费的

如果你非常感兴趣,可以直接找我(codingSmart)支付50元锁定2.28日的最低价,否则可能当天抢不到最低价,上次续费的老用户就因为人太多,把知识星球的服务器都奔溃了。

dd89e7bde78f65a2fc0d0952c4e13621.jpeg

备注:付定金

如果你想围观,👇扫码进,并找我领取破局精华合集(含24年1月).pdf

78d8bb6fc2c10c63c8cfdd41259c47eb.png

7cf90413ef50923cdc78fcddfa4ebf56.png

加V:codingSmart领取

参考链接:
[1]https://www.wpeebles.com/
[2]https://www.timothybrooks.com/about/
[3]http://adityaramesh.com/about.html

点这里👇关注我,记得标星哦~

左下角阅读原文领取一份自媒体手册,必定用得上

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

outside_default.png

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值