MultiNet Real-time Joint Semantic Reasoning for Autonomous Driving论文笔记

摘要：

虽然大多数语义推理方法都侧重于提高性能，但在本文中，认为计算时间对于实现自动驾驶等实时应用非常重要。 为实现这一目标，作者提出了一种通过统一架构进行联合分类，检测和语义分割的方法，其中编码器在三个任务之间共享。 我们的方法非常简单，可以在具有挑战性的KITTI数据集中端到端地进行训练并表现得非常好，超越了道路分割任务中的最新技术水平。 提出的方法也非常有效，允许以超过每秒23帧的速度进行推理。代码：https：//github.com/MarvinTeichmann/MultiNet

个人理解：

这篇论文属于多任务学习模型，即同时进行分类，检测和语义分割任务，正如其摘要说得，性能固然重要，但是时间也不容忽视，这篇论文的核心卖点在于节省了时间，之所以节省了时间，主要是共享了编码网络，可以让三个子任务并行推理，大大减少推理时间。

网络结构如下：