ICCV 2023开源 | 最新跟踪一切！分割一切视频版来了！

已于 2023-11-29 18:36:54 修改
阅读量1k 收藏 7
点赞数 3
分类专栏： 3D视觉从入门到精通 文章标签： SLAM 自动驾驶
于 2023-09-13 07:02:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yong_Qi2015/article/details/132867575
版权
DEVA是一种新型的视频分割跟踪方法，通过解耦的图像分割和通用的双向时间传播，实现低训练数据需求和跨任务泛化。该方法在大词汇量视频目标分割、开放世界视频分割等任务中表现出色，且开源可供尝试。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

作者：泡椒味的口香糖 | 来源：3D视觉工坊

添加微信：dddvisiona，备注：SLAM，拉你入群。文末附行业细分群。

0. 笔者个人体会

视频分割相较于图像分割，最大难点在于长序列中相同类别的数据关联，也就是如何保证这一帧分割出的目标，下一帧还能稳定分割。传统的端到端视频跟踪模型，主要还是遵循一个"检测跟踪"的范式，然后使用短时模块来关联帧间分割。这种方法的缺点是对误检很敏感，而且很难处理长序列，对训练数据的要求也非常大。

今天笔者将为大家带来一项新的"跟踪一切"的工作DEVA，与之前的"跟踪一切"不同，这篇文章不是跟踪像素，也不是目标跟踪，而是目标分割跟踪。DEVA实际上是对SAM的扩展，首先对视频帧进行分割，然后使用一项新的双向传播机制来实现帧间分割的关联，对训练数据的需求量非常低，效果非常好，而且很容易泛化到各个下游任务中。

1. 效果展示

DEVA可以进行鲁棒的全视频全景分割跟踪，保持帧间一致性，轻松应对各种复杂场景。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ICCV2023｜遥遥领先！华为SOTA！无监督自适应3D目标检测！即将开源！
3D视觉工坊
10-03 492
作者：大森林| 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」即可获取论文pdf和代码链接。添加微信：dddvisiona，备注：目标检测，拉你入群。文末附行业细分群。1. 摘要基于激光雷达的3D检测在最近几年取得了显著的进步。然而，当3D检测器应用于不同的数据集时，其性能会受到域间差异的严重影响。现有的基于激光雷达的域自适应3D检测方法没有充分解决特征空间中的分布差异问题，...
Go！最新NeRF和SLAM结合开源方案！超越NICE-SLAM和DROID-SLAM！
3D视觉工坊
09-11 1233
作者：泡椒味的口香糖 | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」即可获取论文pdf和代码。添加微信：dddvisiona，备注：SLAM，拉你入群。文末附行业细分群。0. 笔者个人体会NeRF这两年真的是火出天际，ICCV 2023有非常多的NeRF文章，有优化速度精度的，也有动态环境这样的特殊场景NeRF。但NeRF和SLAM结合还是一个很新兴的方向，首先实时性难以保证，...
开源免费跨平台的视频切割及拼接工具VidCutter
10-09
开源免费跨平台的视频切割及拼接工具VidCutter，GitHub地址：https://github.com/ozmartian/vidcutter 和其它很多视频剪辑工具不同的是，这个软件不重新编码和渲染，所以无损画质并且相当快
​Segment-and-Track Anything！视频版SAM来了，分割/跟踪/编辑一切，现已开源！
阿木寺的博客
04-18 3013
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【图像分割和跟踪】微信技术交流群Meta AI的SAM「分割一切」模型展现了强大的图像分割能力，但缺乏对视频数据的支持。近期，浙江大学ReLER实验室的科研人员在最新开源的SAM-Track项目中，解锁了SAM的视频分割能力，即：分割并跟踪一切（Segment-and-track anything，SAM-tra...
ICCV 2023 | EfficientViT: 边缘设备语义分割新标杆！
CV_Autobot的博客
09-21 2192
作者|派派星 编辑| CVHub点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【Transformer】技术交流群本文只做学术分享，如有侵权，联系删文导读本文旨在解决在边缘设备上部署最先进的语义分割模型所面临的计算成本过高的问题。作者指出，先前的语义分割模型通常依赖于自注意力机制、计算密集型的大卷积核或复杂的拓扑结构，以获得良好的性能，但这些方法不...
linux 合并视频文件,视频剪切合并器VideoCutter 5.0 发布（附Ubuntu 17.10中安装方法）...
weixin_30821291的博客
04-29 487
VidCutter是最简单和最快的视频剪切合并应用程序，现在已经到了5.0版本，带来许多新功能和其他变化。VidCutter是Linux，Windows和Mac下免费和开源的视频修剪工具。 使用VidCutter，你可以轻松地进行最常见的视频编辑，如修剪，分割和合并。 VidCutter支持流行的视频格式，包括MP4(这是智能手机的默认视频格式)，AVI(一些相机使用)，MOV，WMV，MPEG和...
CVPR 2023 | 大连理工和微软提出SeqTrack：目标跟踪新框架
阿木寺的博客
05-16 7462
如果模型知道目标在哪，那么我们只需要教模型读出目标的位置，而不需要显式地进行分类、回归。对于这项工作，研究者们希望可以启发人们探索目标跟踪等视频任务的自回归式序列生成建模。自回归式的序列生成模型在诸多自然语言处理任务中一直占据着重要地位，特别是最近ChatGPT的出现，让人们更加惊叹于这种模型的强大生成能力和潜力。最近，微软亚洲研究院与大连理工大学的研究人员提出了一种使用序列生成模型来完成视觉目标...
深度学习系列资料总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
YOLOv5在建筑工地中安全帽佩戴检测的应用（已开源+数据集）
sinat_28371057的博客
02-21 8237
前言 Amusi 发现一个很棒的开源项目，利用YOLOv5进行目标检测的"落地化"应用：安全帽佩戴检测。 该项目使用了YOLOv5s、YOLOv5m、YOLOv5l来训练安全帽佩戴检测数据集，代码和权重均已开源！安全帽佩戴检测数据集也是开源的（共含7581 张图像）！ 项目教程也相当详细，推荐入门练手学习！而且有意思的是，该项目和数据集的两位作者均是中国人，点赞！ 项目链接（文末附下载）：https://github.com/PeterH0323/Smart_Construction 数据集链
深度学习路线总结 (含链接)
2301_79695159的博客
07-25 1196
深度学习资料链接总结
CVPR2023 多目标跟踪（MOT）汇总
藏晖的博客
06-24 1万+
识别、定位和跟踪场景中的动态物体的能力是许多现实世界的应用程序的基础，如自动驾驶和机器人系统。然而，传统的多重对象跟踪（MOT）基准测试只依赖于少数对象类别，这些类别很难代表在现实世界中遇到的大量可能的对象。这使得当代的MOT方法仅限于一组预定义的对象类别。在本文中，我们通过解决一个新的任务，即开放词汇表MOT来解决这一限制，该任务旨在评估在预定义的训练类别之外的跟踪。我们进一步开发了OVTrack，这是一个能够跟踪任意对象类的开放词汇表跟踪器。
【计算机视觉 | 图像分割】arxiv 计算机视觉关于图像分割的学术速递（9 月 8 日论文合集）
wzk4869的博客
09-09 1006
【计算机视觉 | 图像分割】arxiv 计算机视觉关于图像分割的学术速递（9 月 8 日论文合集）
【计算机视觉】ICCV2023放榜！一起看看CV最新热门研究方向！
wzk4869的博客
07-21 4339
【计算机视觉】ICCV2023放榜！一起看看CV最新热门研究方向！
开源免费跨平台且超级傻瓜的视频分割的软件VidCutter（附CSDN下载）
开发游戏的老王
10-10 2474
文章目录前言使用方法0. 下载1. 设置开始点2. 设置结束点3. 保存小结 前言 老王切割视频主要是用于动画制作时的参考视频，算是非常简单但是又较频繁的应用场景。因此简单快速的切割工具非常必要。 在《Kdenlive图解教程：使用Kdenlive快速剪切视频片段》介绍过使用Kdenlive切割视频的方法，但是这种非线编及特效软件剪切视频都有一些共同的毛病： 相对来讲操作复杂一些。 需要重新渲染，所以你要分割的视频越长，处理时间也会线性增长。 也是上面的原因，有时会损失画质。 使用方法 VidCutte
VLM-AD：通过视觉语言模型监督实现端到端自动驾驶
qq_54556560的博客
05-07 566
现有的端到端（E2E）自动驾驶（AD）模型通常经过优化，以模拟数据中观察到的驾驶模式，而不捕获底层推理过程。为了缩小这一差距，我们提出了VLM-AD，这是一种利用视觉语言模型（VLM）作为教师的方法，通过提供包含非结构化推理信息和结构化动作标签的额外监督来加强培训。而直接集成大语言模型（LLM）或视觉语言模型（VLM）的方法则需要大量微调，且推理时依赖大模型，计算开销大。现有的端到端（E2E）自动驾驶模型通过模仿数据中的驾驶模式进行优化，但缺乏人类驾驶员在复杂场景中的。”）生成非结构化文本。
基于DQN的自动驾驶小车绕圈任务
weixin_44558122的博客
05-02 1157
任务来源: DQN: Deep Q Learning ｜自动驾驶入门（？） ｜算法与实现 任务原始代码: self-driving car 最终效果： 以下所有内容，都是对上面DQN代码的改进，在与deepseek的不断提问交互中学习理解代码，并且对代码做出改进，让小车能够尽可能的跑的远。 这个DQN代码依然有很多可改进的地方，受限于个人精力，没有再继续探索下去，欢迎指正交流。 后续会更新DDPG算法和PPO算法在此任务上的应用
Python赋能自动驾驶：如何优化路径规划，让AI驾驶更聪明？
Echo_Wish
05-07 146
从特斯拉的FSD，到Waymo的无人驾驶出租车，算法的精细化决定了自动驾驶的安全性与效率。是不可或缺的一环——如何在交通环境复杂多变的情况下，找到最优路径，并做出实时决策，是自动驾驶系统智能化的重要体现。下面，我们结合具体代码，看看如何用Python优化自动驾驶路径。，因此仅靠传统搜索算法还不够，我们可以利用。*，同时考虑了路径成本，确保驾驶系统选择。路径优化不仅仅是寻找最短路线，还涉及。，用于计算最短路径，同时考虑了。近年来，自动驾驶路径优化结合了。实现自动驾驶路径优化，并结合。，让算法更高效、更智能。
自动驾驶-一位从业两年的独特视角
m0_52186223的博客
04-30 759
2023.03 作为一名大三学生，加入到某量产车企，从事地图匹配研发2023.07 地图匹配项目交付，参与离线云端建图研发2023.10 拿到24届校招offer2024.07 正式入职2025.01 离线云端建图稳定，开始接触在线车端融图研发。
SafeDrive：大语言模型实现自动驾驶汽车知识驱动和数据驱动的风险-敏感决策——论文阅读
最新发布
qq_54556560的博客
05-07 520
为了解决这些问题，我们提出了SafeDrive，这是一个知识和数据驱动的风险敏感决策框架，以提高自动驾驶汽车的安全性和适应性。拟议框架引入了一个模块化系统，包括：（1）风险模块，用于全面量化涉及驾驶员、车辆和道路相互作用的多因素耦合风险；对以动态和高风险场景为特征的现实世界交通数据集进行广泛评估，包括高速公路（HighD）、十字路口（InD）和环形交叉口（RounD），验证了该框架提高决策安全性（实现100%的安全率）、复制类人驾驶行为（决策一致性超过85%）以及有效适应不可预测场景的能力。
iccv2023 医学图像分割
06-20
ICCV (International Conference on Computer Vision) 是计算机视觉领域的重要国际会议，每年都会汇聚最新的研究成果。ICCV 2023 版本中，医学图像分割作为其中一个热门研究方向，关注的是如何使用计算机视觉技术来自动分析和分割医学影像中的结构或病变，这对于疾病诊断、手术规划和治疗效果评估具有重要意义。 在ICCV 2023上，可能会探讨以下几个方面： 1. **深度学习方法**：深度学习特别是卷积神经网络（CNN）和递归神经网络（RNN）在医学图像分割中的应用会持续发展，比如U-Net、SegNet、Unet++等模型的改进和集成。 2. **弱监督和半监督学习**：减少标注数据的需求，通过利用大量未标注或部分标注的图像来提升分割性能。 3. **注意力机制**：自注意力机制可能会被用于更精准地聚焦于图像中的关键区域，提高分割的精度。 4. **医学图像的多模态融合**：结合不同类型的医学图像，如CT、MRI、PET等，以获得更全面的特征信息。 5. **迁移学习与预训练模型**：利用预训练在大规模数据集（如ImageNet）上的模型，然后在医疗领域的特定任务上微调。 6. **算法评估与挑战**：如何设计有效的评价指标和基准，以及组织针对特定医学图像分割任务的比赛。 相关问题--: 1. ICCV 2023中有哪些新型的医学图像分割算法被提出？ 2. 在医学图像分割中，如何处理数据不平衡的问题？ 3. 有没有在ICCV 2023上展示的成功案例，证明了医学图像分割技术的实际临床价值？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

3Ｄ视觉工坊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值