ECCV'2024 | 自动驾驶难例场景多模态理解与视频生成挑战赛开启!

c4e44654928995bcaf6184889e1e6eb8.png

Workshop主页:https://coda-dataset.github.io/w-coda2024/

概述

本次Workshop旨在研讨当前最先进的自动驾驶技术与完全可靠的智能自动驾驶代理之间的差距。近年来,多模态大模型(如GPT-4V)展示了其在多模态感知与理解方面前所未有的进步。然而,利用MLLMs来应对自动驾驶中复杂场景,特别是罕见但关键的难例场景,仍然是一个未解的挑战难题。本次Workshop旨在促进多模态大模型感知与理解、先进的AIGC技术在自动驾驶系统中的应用、端到端自动驾驶等方面的创新研究。

Workshop征稿

本次论文征稿关注自动驾驶场景多模态感知与理解、自动驾驶场景图像与视频生成、端到端自动驾驶、下一代工业级自动驾驶解决方案等主题,包括但不限于:

  • Corner case mining and generation for autonomous driving.

  • 3D object detection and scene understanding.

  • Semantic occupancy prediction.

  • Weakly supervised learning for 3D Lidar and 2D images.

  • One/few/zero-shot learning for autonomous perception.

  • End-to-end autonomous driving systems with Large Multimodal Models.

  • Large Language Models techniques adaptable for self-driving systems.

  • Safety/explainability/robustness for end-to-end autonomous driving.

  • Domain adaptation and generalization for end-to-end autonomous driving.

投稿规则:

本次投稿将通过OpenReview平台实行双盲审稿,接收两种形式的投稿:

  1. 完整论文:论文篇幅在14页内,采用ECCV格式,参考文献和补充材料篇幅不限。被接收的论文将成为ECCV官方论文集的一部分,不允许重新提交到其他会议。

  2. 扩展摘要:论文篇幅为4页内,采用CVPR格式,参考文献和补充材料篇幅不限。被接收的论文不会被包含在ECCV官方论文集中,允许重新提交到其他的会议。

投稿入口:

  1. 完整论文:ECCV 2024 Workshop W-CODA | OpenReview

  2. 扩展摘要:ECCV 2024 Workshop W-CODA Abstract Paper Track | OpenReview

自动驾驶难例场景多模态理解与视频生成挑战赛

本次竞赛旨在提升多模态模型在自动驾驶中极端情况的感知与理解,并生成描绘这些极端情况的能力。我们提供丰厚的奖品和奖金,诚邀您的参与!

赛道一:自动驾驶难例场景感知与理解

本赛道关注多模态大模型(MLLMs)在自动驾驶难例场景的感知和理解能力,包括整体场景理解、区域理解和行驶建议等方面的能力,旨在推动更加可靠且可解释的自动驾驶代理的发展。

赛道二:自动驾驶难例场景视频生成

本赛道关注扩散模型生成多视角自动驾驶场景视频的能力。基于给定的自动驾驶场景3D几何结构,模型需要生成与之对应的自动驾驶场景视频,并保证时序一致性、多视角一致性、指定的分辨率和视频时长。

竞赛时间:2024年6月15日至2024年8月15日
奖项设置:冠军1000美元,亚军800美元,季军600美元(每赛道)

时间节点(AoE Time, UTC-12)

03a0410e4c23cdd6da2b155dac471dce.png

联系方式

如有任何关于Workshop和挑战赛的问题,请邮件联系:

w-coda2024@googlegroups.com。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
YOLO多模态融合可以采用不同的融合方式,包括前端融合、后端融合和中间融合。前端融合是指将多个模态的输入直接融合成一个输入,然后输入到YOLO模型进行处理。后端融合是指在YOLO模型的输出阶段将多个模态的结果进行融合。中间融合是指在YOLO模型的中间层将多个模态的特征进行融合。 以前的研究主要集中在前融合和中间融合的方法,而较少探索后融合的可能性。后融合的优点是可以更好地解释融合结果,因为它不依赖于深度学习模型的特征提取过程。然而,后融合也存在一些问题,如模态融合过程的不稳定性和模态之间的相干性。在使用后融合的方法时,需要考虑如何合理地进行融合和决策,以及如何解释融合结果。 总结起来,YOLO多模态融合可以采用前端融合、后端融合或中间融合的方式来实现。不同的融合方式有各自的优缺点,需要根据具体情况选择合适的方法。后融合方法可以提供更好的解释性,但也需要解决融合过程的不稳定性和模态之间的相干性等问题。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [ECCV2022 | 多模态融合检测新范式!基于概率集成实现多模态目标检测](https://blog.csdn.net/CV_Autobot/article/details/126756930)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* [工程(八)——yolov5可见光+红外双模态融合(代码)](https://blog.csdn.net/HUASHUDEYANJING/article/details/126275611)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值