【独家专访】CVPR2019爆款论文作者现场解读：视觉语言导航、运动视频深度预测、6D姿态估计

????点击上方蓝字星标“Robinly”，获取更多重磅AI访谈

Robin.ly 是立足硅谷的视频内容平台，服务全球工程师和研究人员，通过与知名人工智能科学家、创业者、投资人和领导者的深度对话和现场交流活动，传播行业动态和商业技能，打造人才全方位竞争力。

2019年计算机视觉顶会CVPR前不久刚在美国长滩闭幕。Robin.ly在大会现场独家采访20多位热点论文作者，为大家解读论文干货。本期三篇爆款文章包括：

 

1. CVPR满分文章、最佳学生论文奖、结合强化学习和自监督模仿学习的视觉-语言导航方法：

Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vision-Language Navigation

 

2. 最佳论文荣誉提名、Google Research 基于Youtube“假人挑战”数据集的深度预测研究：

Learning the Depths of Moving People by Watching Frozen People

 

3. 斯坦福大学几何计算研究组6D姿态及尺寸估计研究：

Normalized Object Coordinate Space for Category-Level 6D Object Pose and Size Estimation

长按二维码或点击“阅读原文”

访问Robin.ly获取更多CVPR访谈实录

1

  “最佳学生论文奖”视觉语言导航

CVPR 2019“最佳学生论文奖”论文“Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vision-Language Navigation”，在评审中得到3个Strong Accept，总分排名第一。文章第一作者王鑫现在是加州大学圣巴巴拉分校在读博士生、微软研究院实习生，从事计算机视觉、自然语言处理和机器学习三个领域的交叉研究。以下是他在CVPR大会现场接受Robin.ly访谈的视频实录：

王鑫在美国长滩CVPR2019大会接受Robin.ly专访

Wenli：今天我们邀请到了 CVPR “最佳学生论文奖”获得者， UC Santa Barbara 攻读博士学位的王鑫。首先恭喜你获奖。能不能给我们介绍一下这篇论文？

Xin Wang：

谢谢！这篇论文的主题是视觉语言导航，关于如何在 3D 环境中引导智能体遵循自然语言指令。这是我暑期在微软研究院开展的合作项目。我在回到学校之后继续完善了这项工作，并写成论文提交给了CVPR。

Wenli：你是怎么想到这篇论文选题的？

Xin Wang：

我做视觉和语言相关的研究有两三年的时间了，一直致力于让机器学会描述视觉世界。我的目标是让机器人不仅能够描述静态场景，还能够与物理世界进行交互。我对视觉语言导航的数据集非常感兴趣，觉得这是我真正想做的东西。所以我决定和我的导师以及微软研究院的合作者一起解决这个问题。

Wenli：你的论文对这个研究领域最大的贡献是什么？

Xin Wang：

这项工作的一个局限就是无法准确区分成功的信号。这种信号相当粗糙，只要智能体到达了目的地，就会被视为一次成功的行为，无论在这个过程中是否遵循了自然语言指令。例如，你可以在房间里按照随机的路线到达目的地，仍然可以被视为成功。但这不是我们想要的。我们希望智能体能够在理解自然语言的基础上遵循指示做出行动。我们在这篇文章中提出了一种强化跨模态匹配方法 （Reinforced Cross-Modal Matching），利用一个匹配度评估器来评估原始指令在生成的轨迹中重建的完整度，强化智能体按照指令行动的能力。

王鑫论文图示，图片来源：王鑫

这项工作的另一个关键挑战是泛化的能力。智能体通常是在一些它见过的环境中进行训练，并在没见过的环境中进行测试。所以它在见过和没见过的环境之间的表现会有非常大的差别。但是对于一些实际情况，例如，我们有一个家用机器人，我们希望这个机器人能够熟悉它所部署的房屋环境。我们因此提出一种自我监督的模仿学习方法，让机器人通过自我监督来探索没见过的环境，从而使它