新加坡国立大学周大权：从人造卫星系统设计师到AI人，我的科研灵感来源于现实问题

原来他们是这样走过来的！

【AI红人荟】——这里是TechBeat人工智能社区为优秀的AI工作者开设的人物专访栏目。从膜拜“红人”到成为“红人”，TechBeat与你一起，在AI进阶之路上，升级打怪、完美通关~

本篇人物，是来自新加坡国立大学的在读博士生周大权。他认为，好的问题不一定都在上一年顶会的最佳论文里，从当下需求出发也是一种角度。以下为采访全文，欢迎阅读~

TechBeatTechBeat是荟聚全球华人AI精英的成长社区，每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。https://datayi.cn/w/GR4vQ82o

研发人造卫星是一种什么体验？

周大权恐怕是计算机科研队伍中，为数不多能回答这个问题的人。

他曾就职于新加坡国防部及新科电子联合实验室，参与设计了新加坡第一个商业人造卫星的研发。如今，周大权是新加坡国立大学数据科学深度学习方向的在读博士，研究方向是深度学习神经网络的架构设计。

从人造卫星系统设计师转型到AI人，他的研究灵感来自于发现问题，成就感则来自于解决问题。

突破科研“真空状态”的Transformer

发现问题、解决问题，是周大权做学术的基本逻辑。不久前，他以一作身份发表了VisionTransformer 模型的最新研究报告《Understanding The Robustness in VisionTransformers》，这是周大权团队与英伟达合作的研究成果，代码已经完全公开。

论文链接：

https://arxiv.org/abs/2204.12451

代码链接：

https://github.com/NVlabs/FAN

去年，周大权就曾做客TechBeat人工智能社区，分享《迈向更深的VisionTransformer》的主题Talk。如今有了最新的研究成果，近期他也将来到TechBeat再度分享。对于周大权来说，这是他作为AI人解决问题的“初体验”。

 周大权Talk分享 

👉《迈向更深的Vision Transformer》

👉 链接：https://www.techbeat.net/talk-info?id=513

在此次研究中，周大权团队展示了Transformer模型对比CNN模型的优势之处，并详解了Transformer模型为什么比CNN模型表现得更好。他本人一直致力对Transformer模型的研究，并笃信这将会成为未来的主流模型，因为在他看来，Transformer突破了科研的“真空状态”，更好地还原了实际情况中可能会遇到的场景条件，切实地应用在问题解决之中。

“大家都知道Transformer模型的性能会更好，但它的优势不单单是在传统的科研数据集上体现，更重要的是在应用中，在处理极端受损图像时，精度会明显优于传统的CNN模型，将在很多领域得到应用。”

ICCV 2021 最佳论文 "Swin Transformer"，在去年年末迎来30亿参数的v2.0版本，整个领域也都加大了对视觉大模型的投入，这位“半道出家”的AI学者开始把更多注意力集中在Transformer的研究上。

周大权团队的最新实验证明，在自动驾驶方面，面对雨雾等极端天气，Transformer模型能够保持原有的系统鉴别能力，而不会像CNN模型一样“坍塌”掉，这让周大权觉得自己的研究得到了有效应用，是非常有意义的。这也是他转型AI人后第一次尝试真正地解决问题。

“软硬结合”的学术经历

周大权本科就读于新加坡国立大学半导体专业，毕业后他通过校招意外进入到了人工卫星系统设计领域。工作两年后，传统编程的限制让他感受到，AI才是产业落地的关键。恰逢有回到母校继续读博的机会，他便顺应机遇的垂青，开始了在AI领域的学术探索。

凭借硬件系统设计的从业背景，周大权成功转型到了软硬件结合的深度学习神经网络架构设计方向。

在学术研究中，有人擅长提出新概念、新理论，有人则擅长在原有的理论基础上解决新问题，周大权选择成为后者。目前，他已经在 ECCV，ICCV，CVPR，ICLR，ICML，NeruIPS 等计算机视觉与机器学习顶会发表多篇论文。和“赶会”的研究者不同，他在寻找研究角度时更多的是从现实问题中生发灵感。

 “很多人会看上一年顶会最佳论文做参考，但我更多的还是先去发现问题。如果发现这个问题还没解决方案，那么我就尝试去做一些调研，当然也会和我的导师探讨确定研究的可行性。”

在发表前的peer review对于周大权而言，也是发现问题与解决问题的过程。面对质疑时，周大权认为“同行们的质疑往往都是有道理的”，可能是有哪里没有表达清楚或者是存在同行们不熟悉、没有理解的内容。

他的方式是尝试将这些存疑的细节进行解释，并及时修改调整，经由这个过程提高论文命中率。常常参与peerreview的他，也提醒大家要梳理好文章的整体思路与逻辑，并尽量规避语法的错误。“文章不管投到哪，先保证完成度比较高再投，命中率会更高。”

AI for Science,

未来能解决更多问题

对于未来的研究方向，周大权尚未给自己框限，但已经能够确定的是，他将继续专注于模型架构设计。但今后的工作，不再局限于理论研究，而将把模型架构更多地与现实生活场景结合在一起，从而解决更多的问题。

近年来，AI已经被广泛应用到各种场景中，与各个科学领域的结合也日益紧密。蛋白质结构的精准预测、黑洞成像等热门话题也总是与“AI for Science”的倡导密切相关。

如今，周大权也观察到， “AI for Science”越来越多地出现在学术圈的视野中，对于当下的周大权而言，这也是一个研究的难点与重点。毕竟，这意味着研究者将与自己背景完全不相同的伙伴共同合作，产生更多的交叉地带，需要更多的学习与磨合。但他清楚地认识到，这将是整个行业势不可挡的趋势，也是自己努力的方向。

AI与硬件的结合是他比较感兴趣的方向之一，在他看来，“硬件给软件提供上限，软件提供硬件内部的优化结构方式”，软硬件更好地结合，才能实现资源利用最大化，去解决实际问题。

“科学研究有两大基本目的：一是寻求基本规律，二是解决实际问题。”对于周大权而言，能够解决问题，无疑是对研究成果最强的交付。

未来AI还将解决哪些问题，我们无法简单定论，但能够感受到的是，有更多像周大权一样的AI青年去发现问题、解决问题，AI与人、与社会的关联将会更加紧密。期待，AI人们的共同努力，让AI的价值大放异彩！

//

嘉宾介绍

周大权

周大权，NUS 数据科学深度学习方向四年级博士生，师从冯佳时教授。研究方向是深度学习神经网络的架构设计，压缩优化与自动搜索。他在 ECCV，ICCV，CVPR，NeruIPS，ICLR，ICML 等计算机视觉与机器学习顶会发表多篇论文。他曾参与设计新加坡第一个商业人造卫星的研发。

-The End-

关于我“门”

▼

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门-TechBeat技术社区（TechBeat）以及将门创投基金。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”: 

bp@thejiangmen.com