PointTrackNet：一种用于点云三维目标检测和跟踪的端到端网络

点击上方“计算机视觉工坊”，选择“星标”

干货第一时间送达

标题：PointTrackNet: An End-To-End Network for 3-D Object Detection and Tracking from Point Clouds

作者：S Wang，Y Sun，C Liu，M Liu

来源：ICRA2020

编译：黄群军  泡泡机器人SLAM

审核：lionheart

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

当前基于机器学习的多目标跟踪（MOT）框架在3-D点云跟踪场景中变得越来越流行。大多数传统的跟踪方法都使用滤波器（例如，卡尔曼滤波器或粒子滤波器）来按时间顺序预测对象位置，但是它们容易受到极端运动条件的影响，例如突然制动和转弯。在本文中提出了PointTrackNet目标跟踪方法，这是一个端到端的3-D对象检测和跟踪网络，可以为每个检测到的对象生成前景掩膜，3-D边界框和点跟踪关联位移。网络仅将两个相邻的点云帧作为输入。在KITTI跟踪数据集上的实验结果显示，与最新的跟踪网络相比本文的方法具有比较好的结果，尤其是在不规则和快速变化的情况下。

主要贡献

1.提出了一种端到端的三维目标检测与跟踪网络，该网络以两个相邻的原始点云为输入，输出预测的边界框和逐点关联位移。

2.提出了一种新的数据关联模块来融合两帧的点特征，并关联同一对象的相应特征。

3.从逐点数据关联生成预测的边界框。预测的边界框可以细化检测结果。

主要方法

上图展示了网络的基本结构。该网络只需输入两个相邻的无序点云，输出物体的边界框和每个物体的运动轨迹。检测和数据关联是跟踪的两个主要组成部分方法。我们设计了一种点式数据关联方法，以减少退化目标检测可能带来的负面影响。

A.逐点特征提取

在给定N*3维度点云的情况下，提出了一种目标检测器生成N*2掩膜和M个边界框，其中N表示点的个数，掩膜是一个二进制的0-1分类标签，用于区分前景和背景。从主干网络中提取点云特征。

B.关联模块

关联模块包含一个概率过滤器、两个SA层和一个关联头。为了平衡前背景点，降低计算量，提出了概率滤波器。

C.细化模块

细化模块由一个SA层、三个setupconv层和两个全连接层组成。算法1描述了跟踪管理中的完整伪码。

D.代价函数

代价函数分为两个部分，分别为识别代价和跟踪代价：

主要实验与结果

Abstract

Recent machine learning-based multi-object tracking (MOT) frameworks are becoming popular for 3-D point clouds. Most traditional tracking approaches use filters (e.g., Kalman filter or particle filter) to predict object locations in a time sequence, however, they are vulnerable to extreme motion conditions, such as sudden braking and turning. In this letter, we propose PointTrackNet, an end-to-end 3-D object detection and tracking network, to generate foreground masks, 3-D bounding boxes, and point-wise tracking association displacements for each detected object. The network merely takes as input two adjacent point-cloud frames. Experimental results on the KITTI tracking dataset show competitive results over the state-of-thearts, especially in the irregularly and rapidly changing scenarios. 

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「计算机视觉工坊」公众号后台回复：深度学习，即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。

下载2

在「计算机视觉工坊」公众号后台回复：计算机视觉，即可下载计算机视觉相关17本pdf书籍，包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。

下载3

在「计算机视觉工坊」公众号后台回复：SLAM，即可下载独家SLAM相关视频课程，包含视觉SLAM、激光SLAM精品课程。

重磅！计算机视觉工坊-学习交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~