Facebook AI研究员田渊栋:2021年年终总结

af9883eb3bee307b4cbc62458537646f.png

在知乎上看到了一篇大佬的2021年终总结,看了后感觉受益匪浅,作者是田渊栋老师,博士毕业于卡耐基梅隆大学机器人系,目前在Facebook AI研究院担任研究员,特此分享给大家,希望能在新的一年里带给你不一样的收获。

以下为原文。

这一年在组里开了一个比较大的方向,组织并带领团队一点点往前走,并且获得了一些初步的成果。文章方面,中了十篇paper(三篇ICML,四篇NeurIPS,一篇AAAI[1],一篇SIGCOMM[2],还有一篇CGO tool paper[3]),包括三篇ICML long oral,其中一篇一作的ICML[4]获得了杰出论文奖提名[5]。年底投的几篇ICLR的文章质量也是不错。研究内容围绕着两条主线,一是强化学习的算法设计及其在智能优化方向上的应用,二是对自监督学习的理解与改进。非常感谢所有的合作者们!

业余时间内完稿了一部长篇小说《破晓之钟[6]》,续集《幽夜星火[7]》也在撰写中。

更重要的是,11月初我们的女儿降生,给家里带来了很多欢乐。

总的来说,这一年非常忙碌,也丰富多彩。

年岁渐长,限制会越来越多,家庭责任与身体健康都会慢慢成为越来越强的限制条件,让再有梦想的人,都会陷入“有心无力”的困局。如何从这个困局中摆脱出来,先构想一个远大的梦,再制定可完成的目标并一步步达成,这是一个毕生要做的功课。

这一切,对自己提出了更高的要求。

在战略上,要分清主次

没必要的工作不用做,搞清楚什么是对自己最重要,什么该果断放弃,说一句“没时间”并不丢人,反而是逐渐走向成熟的体现。

今年我参加了公司内辅导实习生的活动,和实习生日常聊天,实习生抱怨每次赶论文都要熬夜好几天,我和她说“我赶论文从不熬夜”,她几乎惊掉下巴——当然,在博士阶段还是要经常熬夜的,但在博士毕业之后,特别是最近几年,开始奉行「deadline前做不出来就放到下个deadline」的原则,原因很简单,如果结果是最后一刻赶出来的,如何有时间思考验证实验结果是否正确?这样也能减少每次投稿的数目,把稿件的质量提上去。

我当过几次领域主席(Area Chair),也作为主要负责的最后一作作者帮忙改写过很多对评审的反驳(rebuttal)意见,可以明显发现,作者如果对一篇文章尽心尽力,评审是能感受到并且愿意提分的。

已经是中年人了,再与年轻人们内卷拼体力是没有意义的,要拼眼界与思考的格局,找到问题的关键,并把时间花在刀刃上。我记得我以前写过一个知乎回答,说自己一天日常可以工作十多个小时,现在看起来,算是过时的了。现在仍然有一天工作十多个小时的觉悟,但条件是这事情确实重要,确实有意义,值得去做。最坏的情况是,忙但不知道自己的目标为何,辛苦却走向死路,那就既给自己虚幻的安全感与满足感,又注定了接下来悲剧的命运,下场是最惨的,还不如躺平享受人生。

一个比较资深的人,首要任务不是一味自己埋头工作,而是总结过去走过的弯路,特别是那些花费几个月却没有成效的努力,想清楚怎么去做,花多少时间和资源去做,哪个部分可以拿来主义,哪个部分必然存在亮点和创新。基本盘定下了,大的格局也就定下了,有意外之喜是锦上添花,结果不如人意也至少有法子保底。另外,预判别人看不到的问题和陷阱,并采取一切手段,包括技术或是非技术的,以尽量避免这样的事情发生。所谓智者见于未萌,而不是真着了火到处救火显得很忙。

在执行上,需要将能安排的事情都安排好

如何快速进行多任务切换,如何不忘记不紧急但重要的事情,如何使用碎片时间进行一些有意义的阅读和思考,是相当重要的。我在下半年抽空写了一个时间管理软件,把待办事项,文章笔记,思路归纳和整理,团队的项目进度都集中放在一个文件里,然后通过一些简单的代码自动解析自定义标签,输出一个综合的日程表。这样可以解决文档散布各处,太多太杂乱的问题。

稍微整理了一下,代码开源了在这里[8],大家有兴趣可以玩玩。当然,多任务切换的关键在于,能不能在一段时间内集中火力,把一件事做好,再去做下一件事。如果已经定下具体的目标,一切的工具都只是辅助,必要时可以全都舍弃掉。

要记得别人给自己的批评,并且时常反思

记得去年这个时候,我还在花很多时间去逐条反驳我们投稿ICLR2021文章的那个给3分的评委给出的18个问题[9]。当时觉得这位评委竟然把我们的工作贬斥得一文不值,列举的每个问题都简直在胡说八道,非常气愤。但现在回头看来,虽说诸如“证明不严格啊”之类的都在胡扯,细节上提的问题也暴露出他并没仔细看,但若是想一想他提这些问题的根本动机,有一点说得还是在理——文章里想要表达的思路太多太杂,也没写得特别清楚。比较一下去年和今年年初的两篇文章,一篇被ICLR和ICML连着拒稿,另一篇拿了ICML杰出论文提名,感慨良多。这一切都是有内在原因的,而理解了这些内在原因,就可以使自己的工作质量,更上一层楼。

能碰到这样认真的评审,我算是幸运——这样的思考,让被拒稿的坏事就变成了好事。要知道,批评是稀缺资源,高质量的批评更是少见,因为别人根本没有时间和精力去认真阅读自己的成果,更不用说提出什么有用建议。我在半年前写过一篇一些应对批评的经验[10],年底还是要重申这一点。

不能故步自封,要经常把棋盘翻过来想

自己曾经的优点,可能反而成为下一步成长道路上的绊脚石。认识到每种能力都有用处与局限,能够在恰当时间和场合去运用这种能力,在另一些时间和场合刻意限制使用这种能力,这是比拥有及炫耀“一技之长”更难更艰辛的道路。而这一切的取舍,都是为了一个宏大的目标,为了自身的长远发展。有句谚语叫“善游者溺,善骑者堕”,说的是做自己擅长的事,往往会掉以轻心阴沟翻船,其实它还有更深一层的意义——有一技之长的人,稍不小心,就可能变成自己技术的奴隶。

最后,有空多看历史

历史就是一个大规模离线强化学习训练集,多少比自己厉害百倍,能在史书上留下一笔的人杰,在关键时刻走错了一步前功尽弃,这些都一字一句记录在案,给后人以警醒。每年年底写个总结,期待做得更好的2022,把自己的经历放进这个训练集里,让大家看一看,或许能有所借鉴,目的也就是在这里了——

这也算是自己的历史罢。

千里渡来年愈少,万顷劫波付笑谈。

共勉。

一起交流

想和你一起学习进步!『NewBeeNLP』目前已经建立了多个不同方向交流群(机器学习 / 深度学习 / 自然语言处理 / 搜索推荐 / 图网络 / 面试交流 / 等),名额有限,赶紧添加下方微信加入一起讨论交流吧!(注意一定o要备注信息才能通过)

155453a8d69eef2ed7b05da099fd4ec0.png

本文参考资料

[1]

AAAI: https://arxiv.org/abs/2112.09174

[2]

SIGCOMM: https://dl.acm.org/doi/10.1145/3452296.3472902

[3]

CGO tool paper: https://arxiv.org/abs/2109.08267

[4]

ICML: https://arxiv.org/abs/2102.06810

[5]

杰出论文奖提名: https://icml.cc/virtual/2021/awards_detail

[6]

破晓之钟: https://yuandong-tian.com/novel_daybreak_bell.html

[7]

幽夜星火: https://yuandong-tian.com/novel_dark_spark.html

[8]

这里: https://github.com/yuandong-tian/scheduler2

[9]

问题: https://openreview.net/forum%3Fid%3Dc5QbJ1zob73%26noteId%3DgHbY_xI60M7

[10]

一些应对批评的经验: https://zhuanlan.zhihu.com/p/390765721

END -

286be747ac48400c7663423fcc12c3d3.png

8830bdb894860684d0cb0dab3f3853a9.png

美团 大规模商品知识图谱的构建与应用

2021-12-31

b4de29edc2d262c2565ad6ab633a2032.png

浅谈 多任务学习 在推荐系统中的应用

2021-12-30

cb358605ab4a537c1e4662e774045272.png

手把手!基于领域预训练和对比学习SimCSE的语义检索(附源码)

2021-12-27

f553a3b7021d5c69c901d0f2bea08dd9.png

工业界和学术界最大区别是什么?

2021-12-25

4519a05ccb4c371208e776eb1fcdcafa.png

4207f1865e1eef4ad0daa196ac60703a.gif

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值