对话尼基·帕玛：在Google Brain工作是一种怎样的体验？

 

全文共2391字，预计学习时长8分钟

图源：pixabay

 

作为Google重要科研学术小组，Google Brain团队在计算机科学、量子计算、人工智能等领域取得了不少成果。在Google Brain工作会是一种怎么样的体验呢？

 

很高兴能邀请尼基·帕玛参加今天的采访。作为Google Brain团队的高级研究科学家，尼基参与自注意力相关的研究，并将其扩展到语言和视觉的不同应用中。她的兴趣在于生成模型、2D和3D视觉以及自监督学习。

 

尼基参与撰写了许多该领域有影响力的研究论文，其中就包括了对Transformer有重大意义的论文——《Attention Is All You Need》（《注意力就是你所需的全部》）。

 

 

萨亚克：不如尼基先介绍一下自己，现在的职位是什么？负责什么工作？

 

尼基：我现在是Google Brain团队的研究科学家，研究与深度学习相关的问题。大概四年半前我加入谷歌，进行文本相似度和搜索问答等问题的应用研究。工作的重点是有关提升现有系统的质量、效率和理解的先进研究。

 

我与同事合作解决现有学术基准上的研究问题，也得到了有一定影响力的成果。我曾研究自注意力以及其他归纳偏置如何改善不同任务模型，比如机器翻译、语言模型和感知器。现在研究的是利用自监督学习进行有意义的表示学习。

 

萨亚克：从应用研究转向基础研究一定很不容易。在职业生涯中，尼基担任过各种职位，涉及查询优化、大数据、分布式计算等。你是如何对机器学习产生兴趣的呢？

 

尼基：最开始对机器学习产生兴趣是在本科时期，我参与了首批慕课课程，学习了安德鲁·尼格和皮特·诺威格的机器学习和人工智能课程。我很好奇数据、模式匹配和优化三者结合的力量。

 

在南加利福尼亚大学时，我有幸进入了莫尔塔扎·德赫加尼教授带领的计算机社会科学研究室，在那里用机器学习和大数据技术研究社会科学问题。

 

在谷歌，我得到机会开展端对端深度学习系统相关的学习和工作，尝试探索解决自然语言处理问题的新途径，其中包括迁移嵌入、直接优化结束任务、弱监督设置的学习等。

 

包括我在担任各种职位的过程中，深度学习模型证明了它是能够解决各种问题的强大工具。这促使我进入纯研究领域，学习机器学习技术，为其添砖加瓦。

 

图源：unsplash

 

萨亚克：这真是一次美好的经历。应用于合适的使用案例中时，机器学习技术展现出的表示学习的魔力让我们心驰神往。我很好奇，尼基开始研究时面临着什么样的挑战？如何克服这些挑战？

 

尼基：一开始，我总被身边大量的信息和研究压得喘不过气。与同事共同专注于一个特定问题能帮助我们探索这一领域、提出正确的问题。尽早与导师建立良好关系也能帮助我们与已有的研究建立联系、改进思路，指引我们朝着正确的方向前进。

 

萨亚克：完全同意尼基的理念——专注于细化的问题，毫不妥协地追寻答案。你曾经参加过一些开创性的研究项目，相信你或者你的团队有特定的方法开展研究，能跟我们分享一下吗？

 

尼基：研究人员一定要从设定研究问题/目标以及提出初始假设着手。在团队合作的背景下，仔细地开展头脑风暴并基于结果改进方案是十分有用的方法。在项目中，我们每天都这样做，每天都针对新结果讨论很久，然后继续尝试新方法。

 

项目进程中，关注细节是十分重要的——似乎每个细节、每个问题、每个选择都很重要。解决所有问题或是尝试所有的组合是不可能的，但是可以在总体上改善结果。

 

即使论文已经完成，对问题的研究还在继续，扩展问题、优化问题、将旧问题应用于新问题能帮助研究人员切实理解问题、提升专业技能。

 

图源：unsplash

 

萨亚克：提出正确的问题确实是值得的。机器学习领域日新月异，尼基是如何抓住最新潮流的？

 

尼基：毫无疑问，随着新潮流、新技术的不断涌现，要做的工作也越来越多。我倾向于阅读周围的人和团队推荐的论文，阅读小组、推特、Reddit都是很有用的资源。

 

有时，如果对某一特定话题感兴趣，可以试着搜索过去几年的论文，深入研究最近的趋势。一般来说，要读完任何研究课题的所有论文并非易事，这也会限制研究人员自己的思维，要避免这种情况。我有一条筛选论文的原则：看哪些论文是前几年发表但是现在还在用的。

 

萨亚克：结合最近机器学习技术发展的方向，尼基认为哪些领域会在不远的将来大有发展？

 

尼基：这一话题其他人已经讲过很多次了，我认为无标注数据的表示学习依然困难重重，有非常大的发展潜力和潜在影响力。这一领域的研究还停留在表面，我个人对于这一领域将如何发展非常感兴趣。

 

此外，像3D视觉和视频这样比较少见的形式，对计算和扩大现有计算操作规模来说是很有趣的研究挑战，这些领域可能在未来得到更多的关注。还有一个领域让人感到兴奋，那就是机器学习技术在蛋白质及分子生物学中的应用。

 

图源：unsplash

 

萨亚克：毋庸置疑！正在探索自监督学习的人只能赞叹无标注数据表示学习的潜力。经常困扰从业人员的另一件事就是学习新概念，尼基能分享一下学习方法吗？

 

尼基：我会通读概念相关的论文，并联系自己的研究，试着提出问题。一般而言，应用或者复制某篇论文、修改和整合现有的研究，这一方法很管用。这也会成为一个好的出发点，让研究人员能够与该领域的专家讨论并得到反馈。

 

图源：unsplash

 

萨亚克：是的，从少量资源着手比较简单，也能提高工作效率。对于初学者，尼基有什么建议吗？

 

尼基：选择问题是最难的几个步骤之一。坦白说，我有时候也会犯难。如果能够得到反馈或者与同辈合作，会对我们各方面都有所裨益。另外，有一点已经老生常谈了，但它依然十分重要——多问问题。

 

我还发现，坚持研究一个问题不放弃能促使人从各种角度寻找解决方案，从而产生新的见解。

 

萨亚克：非常感谢尼基参加这次采访，为我们分享洞见。

 

相信大家都能从这次采访中受益很多，带着你的新感悟继续前行吧。

起分享AI学习与发展的干货
欢迎关注全平台AI垂类自媒体 “读芯术”

（添加小编微信：dxsxbb，加入读者圈，一起讨论最新鲜的人工智能科技哦～）