TPAMI 2024 | SODFormer：利用事件和帧流进行Transformer基础的流式目标检测

题目：SODFormer: Streaming Object Detection With Transformer Using Events and Frames

SODFormer：利用事件和帧流进行Transformer基础的流式目标检测

作者：Dianze Li; Yonghong Tian; Jianing Li

源码链接： https://github.com/dianzl/SODFormer

---

摘要

DAVIS相机，流式传输两种互补的传感模式：异步事件和帧，已逐渐被用来解决主要的对象检测挑战（例如，快速运动模糊和低光照）。然而，如何有效利用丰富的时间线索并融合两种异构的视觉流仍然是一个具有挑战性的任务。为了解决这一挑战，我们提出了一种新的基于Transformer的流式目标检测器，称为SODFormer，它首先通过整合事件和帧以异步方式连续检测对象。技术上，我们首先构建了一个大规模的多模态神经形态目标检测数据集（即PKU-DAVIS-SOD），超过1080.1