CVPR 24-UG2 无人机多模态检测与追踪挑战赛正式开启！

导读

随着科技的迅猛发展，近年来，无人机逐渐走向便利化，轻型化，其消费市场更是呈现井喷式发展。目前无人机已经不再局限于军事应用，各种形状、尺寸的无人机开始在越来越多的领域中得到应用。然而，随着无人机市场的火爆，无人机活动也对公共安全和秩序所带来前所未有的挑战。由于无人机活动具有隐蔽性强、进退快速、探测预警困难等特点，对其监管和预警往往需要巨大的人力物力资源。日前从公众安全和产业效能出发，在复杂环境下无人机的智能感知及反制问题引起了多方面关注。

目前的无人机智能感知及反制方案主要使用视觉、雷达和射频（RF）等单一模态，使用深度学习或传统方法进行检测。但由于传感器的性能限制，诸如相机的视野范围，雷达的反射面需求，射频的探测范围，导致这些方案往往只能工作在一些限定的条件下。同时当前的无人机智能感知及反制方案，主要关注的是目标检测和2D追踪，而忽视了3D的轨迹估计。这一局限严重制约了无人机智能感知及反制系统在实际应用中的可行性和稳定性。

为了进一步解决无人机检测问题，我们在CVPR2024举办了UG2+ UAV Tracking and Pose-Estimation Challenge挑战赛。该挑战赛旨在融合多模态的数据在复杂环境下完成无人机的3D位置检测以及无人机分类任务。在这一挑战赛中，我们使用了目前市面上常见的多种无人机机型进行多模态数据采集，我们提供了无人机的多模态数据序列：双目鱼眼相机图像，毫米波雷达数据以及Livox Mid360和Livox Avia获取的激光雷达数据，同时用Leica Nova MS60 Multi-Station测绘仪器获取到了无人机在三维空间中的精确位置信息。该数据集发表在机器人顶级会议ICRA-24，也欢迎大家一起来使用数据集进行相关研究。

我们希望通过这个比赛，群策群力，一起解决这个困难的问题，名列前茅的队伍不但能获得荣誉，在比赛结束后我们会和参与者们一起总结各种solution的优劣，一起发表一篇该领域milestone的文章。（详见UG2 Challenge之前几届的summary paper发表在TPAMI [2], TIP [3]和IJCV [4]上）

规则介绍

参赛者需要根据传感器数据序列给出特定时间戳上的无人机位置数据并提交到赛事系统中，根据分类和预测精度得出最终的得分。比赛主要分为两个阶段 算法开发阶段(Dry-run)和最终验证阶段(Testing)。在算法开发阶段（Dry-run）挑战赛提供一个有标签训练集和一个无标签的开发用数据集，参赛者需要在这一阶段完成开发模型，测试结果提交格式等任务。在最终验证阶段（Testing），挑战赛会发布一个最终数据集以验证参赛者的算法性能。

时间安排

• 2024.02.14 – 2024.04.28 挑战赛注册
• 2024.02.14 – 2024.04.28 发布训练数据并开启算法开发阶段(Dry-run)
• 2024.04.28 – 2024.05.01 最终验证阶段（Testing）
• 2024.05.25 结果公布

网页链接

• 报名网址：https://forms.gle/X1tfkghQc24gGF4D6
• 主页网址：https://ug2-uav-tracking.github.io/track5.html
• 数据集论文网页：https://arxiv.org/abs/2402.03706
• 联系方式：ug2.uav.track.ntu@gmail.com

相关文献

• [1] Shenghai Yuan, Yizhuo Yang, Thien Hoang Nguyen, Thien-Minh Nguyen, Jianfei Yang, Fen Liu, Jianping Li, Han Wang, Lihua Xie. MMAUD: A Comprehensive Multi-Modal Anti-UAV Dataset for Modern Miniature Drone Threats. In 2024 IEEE International Conference on Robotics and Automation (ICRA).
• [2] VidalMata, Rosaura G., Sreya Banerjee, Brandon RichardWebster, Michael Albright, Pedro Davalos, Scott McCloskey, Ben Miller et al. "Bridging the gap between computational photography and visual recognition."IEEE transactions on pattern analysis and machine intelligence43, no. 12 (2020): 4272-4290.
• [3] Yang, Wenhan, Ye Yuan, Wenqi Ren, Jiaying Liu, Walter J. Scheirer, Zhangyang Wang, Taiheng Zhang et al. "Advancing image understanding in poor visibility environments: A collective benchmark study."IEEE Transactions on Image Processing29 (2020): 5737-5752.
• [4] Xu, Yuecong, Haozhi Cao, Jianxiong Yin, Zhenghua Chen, Xiaoli Li, Zhengguo Li, Qianwen Xu, and Jianfei Yang. "Going deeper into recognizing actions in dark environments: A comprehensive benchmark study."International Journal of Computer Vision(2023): 1-18.