基于对象的学习与槽注意力（论文解读）

这篇摘要介绍了Google Brain、苏黎世联邦理工学院和马克斯·普朗克研究所的研究人员Francesco Locotello、Thomas Kipp等人发表的论文“Slot Attention”。该论文提出了一种新的注意力机制，名为“Slot Attention”，用于从单个像素识别场景中的物体。

论文主要关注两个任务：

1. 无监督物体识别（物体发现）: 识别场景中存在的物体，并对它们进行分割。
2. 监督物体分类: 对场景中的物体进行分类，例如识别出灰色的立方体、绿色的立方体和黄色的圆柱体。

论文的难点在于，场景中的物体集合没有固定的顺序，因此需要一种对排列不变的注意力机制。Slot Attention通过迭代地分配注意力，使不同的“槽位”竞争物体，从而实现了对物体集合的排列不变的注意力机制。

论文中展示了模型如何识别场景中的物体，并将其分割出来，以及如何对物体进行分类。例如，模型能够识别出场景中的三个物体，并将其分别标记为灰色的立方体、绿色的立方体和黄色的圆柱体。

总的来说，这篇论文提出了一种新的注意力机制，用于处理场景中物体集合的识别和分类问题，克服了物体集合无序性的挑战。

视觉场景通常由一组独立的物体组成。然而，现有的视觉模型对它们所观察到的图像的性质没有做出任何假设。通过施加一个物体先验，本文提出了一种模块，该模块能够在监督和无监督环境下从像素中识别出排列不变的物体集合。它是通过引入一个将注意力机制与动态路由相结合的槽注意力模块来实现的。概述：0:00 - 简介和概述1:40 - 问题公式4:30 - 槽注意力架构13:30 - 槽注意力算法21:30 - 迭代路由可视化29:15 - 实验36:20 - 推理时间灵活性38:35 - 更广泛的影响声明42:05 - 结论和评论论文：https://arxiv.org/abs/2006.15055我在Facebook的DETR上的视频：https://youtu.be/T35ba_VXkMY
摘要：学习复杂场景的以物体为中心的表示是朝着从低级感知特征中实现有效抽象推理迈出的有希望的一步。然而，大多数深度学习方法学习的是分布式表示，这些表示无法捕捉自然场景的组合特性。在本文中，我们提出了槽注意力模块，这是一个与感知表示（例如卷积神经网络的输出）交互的架构组件，并生成一组与任务相关的抽象表示，我们称之为槽。这些槽是可交换的，可以通过在多轮注意力上的竞争过程中进行专门化来绑定到输入中的任何物体。我们通过实验证明，槽注意力可以提取以物体为中心的表示，这些表示在无监督物体发现和监督属性预测任务上训练时，能够泛化到看不见的组合。