超越YOLO！自动驾驶最强新生代目标检测器！

清华大学、IDEA研究院联合提出的Grounding DINO，采用了目标检测器DINO的Transformer架构，并借鉴了多模态GLIP的预训练方法，深度融合语言和视觉信息后，可根据文字描述检测任意目标，实现了开集检测性能的重大突破，不仅被ECCV'24成功收录，相关改进也层出不穷，甚至能结合扩散模型完成修图，正在超越DETR、YOLOs等检测系列，成为视觉或多模态极具前景的研究方向！

为了帮助大家掌握热门的Grounding DINO，研梦非凡于9月25日晚（周三），邀请了CV资深算法工程师张导师，独家讲解ECCV'24创新工作《Grounding DINO：最强开集目标检测器！》（AI前沿直播课NO.70），从开集与闭集目标检测的关系，到Grounding DINO的研究背景、主要贡献，重点讲解模型结构、训练方法和实验，并详解代码和Demo演示，1节课速通最先进的开集目标检测器，get论文改进和求职面试知识点！

👇🏻扫描二维码找助教0元预约直播课！

凡预约可享8节《2024目标检测前沿课程》福利+200篇目标检测精选论文&代码（下拉查看活动+大纲）

unsetunset9.25直播课内容概览unsetunset

01 Grounding DINO基本信息

1. ECCV2024收录论文、开源代码

2. Grounding DINO 1.5等版本更新

02 开集与闭集目标检测器的关系

1. 闭集目标检测器：只能检测预先定义的类别对象

2. 开集目标检测器：可以检测指定的任意对象，在闭集检测器中引入语言特征

03 Grounding DINO的特点

1. 以DINO为基础，基于Transformer的检测器

2. Transformer架构的优势分析

3. 无需使用NMS等模块，支持端到端训练

4. 提出了图像-语言特征深度融合的方案

5. 零样本基准测试中刷新记录

👇🏻扫描二维码找助教0元预约直播课！

凡预约可享8节《2024目标检测前沿课程》福利+200篇目标检测精选论文&代码（下拉查看活动+大纲）

04 Grounding-DINO的总体结构（重点）

1. 双编码器-单解码器架构

• 组成部分

• 具体原理

1. 特征增强模块

• 多个特征增强器层

• 可变形自注意力模块

• GLIP启发下图像-文本的交叉注意模块

1. 语言引导的查询选择

2. 跨模态解码器

• 跨模态查询的传递

• 与DINO解码器层相比，额外的文本跨注意层

1. 子句级文本特征

• 句子级表示与词级表示的局限性

• 子句级表示的创新

05 训练方法和实验

1. 损失函数

• 回归损失、分类损失

1. 训练变体

2. 完成任务

• 任务1：COCO数据集闭集目标检测

• 任务2：零样本迁移

• 任务3：在RefCOCO数据集上进行指代对象检测

1. 可视化检测结果

2. 将Grounding DINO和Stable Diffusion应用于图像编辑

06 代码&Demo演示（重点）

直播课导师介绍

• 张导师

某上市公司高级算法工程师，在自动驾驶感知等视觉领域，拥有5年以上工作经验，尤其是目标检测、目标跟踪、图像分割，以及点云、多模态、模型轻量化和部署方向，一线项目经历丰富，具备高水平的Python、Pytorch等开发能力。

👇🏻扫描二维码找助教0元预约直播课！

凡预约可享8节《2024目标检测前沿课程》福利+200篇目标检测精选论文&代码（下拉查看活动+大纲）

2024目标检测前沿8节课

凡预约本节直播课，即可福利价获得Frank导师《2024目标检测前沿8节课》！2024全新录播课，共8节（包括以上9.25直播课），每节课时长1-2小时！分为两大部分：4节《2024目标检测前沿之从闭集迈向开集》+4节《2024目标检测前沿之YOLOv8-10》，具体下拉查看课程大纲！

目标检测前沿8节课导师介绍

• Frank导师

【个人背景】国内一线车企研究院资深算法工程师，擅长感知算法方向，在语义分割、车道线检测、2D和3D目标检测、BEV目标检测等领域，具有丰富的项目创新和落地经验。

【科研项目】曾主导多个重大项目，精通算法研究和部署端优化，以主要研究者身份，发表过CVPR多模态方向论文，在CV领域积累了多篇授权和落地专利。

国庆活动现仅需 9.9元  （原价99元）

👇🏻 扫码加助教0元预约直播课+开课立享福利价！

开课可领取8节《2024目标检测前沿课程》课件+200篇目标检测精选论文&代码

unsetunset研梦非凡科研论文指导unsetunset

idea并不是直接拍脑门拍出来的，是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。研梦非凡1V1定制化论文指导，和研梦导师一起找idea，研梦导师指导实验，共同解决数据问题。授之以渔——搭建论文写作框架，增删改查，针对性实验指导！哪里薄弱补哪里！

<<< 左右滑动见更多 >>>

全程1v1论文辅导扫码咨询助教

unsetunset研梦非凡部分导师介绍unsetunset

研梦非凡导师团队，来自海外QStop50、国内华五、C9、985高校的教授/博士导师/博士后，以及世界500强公司算法工程师、国内外知名人工智能实验室研究员等。

这是一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，全程秉持初心，坚持手把手个性化带教。包括但不限于以下导师～

<<< 左右滑动见更多 >>>

扫码加助教为你匹配合适课题的大牛导师

我们不是小作坊哦～我们背靠研途考研（就是张雪峰老师和徐涛老师在的那个研途考研），做教育十余年，重交付，重口碑，是我们一贯的公司理念！