TPAMI 2024 | TokenCut: 利用自监督Transformer和归一化割算法在图像和视频中分割对象

最新推荐文章于 2024-11-12 19:12:37 发布
最新推荐文章于 2024-11-12 19:12:37 发布
阅读量99 收藏
点赞数
分类专栏： 论文解读 IEEE TPAMI 文章标签： transformer 深度学习 TPAMI IEEE 顶刊论文 论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/141314575
版权
论文解读 IEEE TPAMI 专栏收录该内容
303 篇文章 21 订阅 ¥59.90 ¥99.00
订阅专栏

题目：TokenCut: Segmenting Objects in Images and Videos With Self-Supervised Transformer and Normalized Cut

TokenCut: 利用自监督Transformer和归一化割算法在图像和视频中分割对象

作者：Yangtao Wang; Xi Shen; Yuan Yuan; Yuming Du; Maomao Li; Shell Xu Hu; James L. Crowley; Dominique Vaufrey

摘要

在本文中，我们描述了一种基于图的算法，该算法使用自监督Transformer获得的特征来检测和分割图像和视频中的显著对象。通过这种方法，构成图像或视频的图像块被组织成一个全连接图，在该图中，每对块之间的边被标记基于Transformer学习到的特征的相似度得分。然后，显著对象的检测和分割可以被表述为图割问题，并使用经典的Normalized Cut算法来解决。尽管这种方法简单，但它在几个常见的图像和视频检测与分割任务上取得了最先进的结果。对

了解本专栏 订阅专栏 解锁全文
小白学视觉
关注
专栏目录
订阅专栏
TPAMI 2024 | Box2Mask: 基于包围盒的实例分割算法
小白学视觉
08-19 467
与使用像素级掩码标签的全监督方法不同，基于包围盒注释的实例分割利用简单的框注释，最近吸引了越来越多的研究关注。本文提出了一种新颖的单次实例分割方法，即Box2Mask，它将经典水平集演化模型整合到深度神经网络学习中，仅使用包围盒监督就能实现精确的掩码预测。具体来说，输入图像及其深度特征被用来隐式地演化水平集曲线，并且使用基于像素亲和核的局部一致性模块来挖掘局部上下文和空间关系。
TPAMI 2024 | TokenCut：使用自监督 Transformer 和正则化剪切对图像和视频中的对象进行分割
10-17 858
本文介绍了 TokenCut，这是一种统一且有效的图像和视频对象分割方法，无需监督学习。TokenCut 使用自监督 Transformer 的特征来构建一个图，其中节点是块，边缘表示块之间的相似性。对于视频，结合光流来确定移动物体。我们表明，可以使用 Normalized Cut 算法直接检测和界定显着对象。我们在无监督单对象发现、无监督显着性检测和无监督视频对象分割上评估了这种方法，表明 TokenCut 可以提供比以前的方法显着的改进。
TokenCut 开源项目使用教程
gitblog_00257的博客
08-20 318
TokenCut 开源项目使用教程 TokenCut(CVPR 2022) Pytorch implementation of "Self-supervised transformers for unsupervised object discovery using normalized cut"项目地址:https://gitcode.com/gh_mirrors/to/TokenCut 1....
Token裁剪总结
weixin_44373865的博客
09-28 2072
ViT在token稀疏化的工作
无监督目标检测、显著度检测（简介）：Unsupervised Object Discovery using Normalized Cut
u014546828的博客
06-09 4849
本文提出了一个简单但有效的基于图的无监督目标检测方法，TokenCut。
无需标注 | CutLER：目标检测和实例分割新方法
CV_Autobot的博客
02-01 3132
今天跟大家分享由Meta AI和加利福尼亚大学伯克利分校、密歇根大学共同提出的无监督目标检测和实例分割方法CutLER（Cut-and-LEaRn）。
CVPR 2022 | 腾讯AI Lab入选论文解读，关注图像理解、生成、建模及可信AI
腾讯AI实验室
06-20 1734
感谢阅读腾讯AI Lab微信号第147篇文章。本文介绍腾讯 AI Lab 被 CVPR 2022 收录的研究成果。CVPR（Conference on Computer Vision and Pattern Recognition）是计算机视觉三大顶会之一，也是中国计算机学会推荐的人工智能领域的A类会议。今年会议于 6 月 19 - 24 日以线上线下结合形式举行，据此前...
TPAMI 2024 | SMPLer: 驾驭Transformer 用于单目 3D 人体形状和姿态估计
小白学视觉
06-08 176
作者：Xiangyu Xu; Lijuan Liu; Shuicheng Yan神经辐射场（NeRF）在新视图合成方面表现出了巨大的成功。然而，由于潜在的校准信息不完善和场景表示不准确，现有的基于 NeRF 的方法在从现实世界场景中恢复高质量细节方面仍然面临挑战。即使使用高质量的训练帧，NeRF 模型生成的合成新视图仍然存在明显的渲染伪影，如噪声和模糊。为了解决这个问题，我们提出了 NeRFLiX，一种学习降解驱动的视点间混合器的通用 NeRF-无关恢复范式。特别地，我们设计了一种 NeRF 样式的降解建模
TPAMI 2024 | SMEMO：用于轨迹预测的社会记忆
小白学视觉
07-25 142
在预测未来轨迹等行为时，有效建模人类互动至关重要。每个人的运动都会影响周围人，因为每个人都遵循诸如避免碰撞或群体跟随等非书面的社会规则。在本文中，我们通过算法视角，即将问题视为数据操作任务，来模拟这些随时间不断演变的互动。我们提出了一种基于端到端可训练工作记忆的神经网络，它作为外部存储，可以连续地写入、更新和回忆有关每个代理的信息。我们展示了我们的方法能够学习不同代理运动之间的可解释的因果关系，并且在多个轨迹预测数据集上获得了最先进的结果。给定一个社会环境Sxii0N−1Sxi​i。
TPAMI 2024 | MixFormer: 基于迭代混合注意力的端到端跟踪
小白学视觉
07-02 490
视觉目标跟踪通常采用多阶段流水线，包括特征提取、目标信息集成和边界框估计。为了简化这一流程并统一特征提取和目标信息集成的过程，本文提出了一种紧凑的跟踪框架，称为 MixFormer，基于 transformers 构建。我们的核心设计是利用注意力操作的灵活性，提出了一种混合注意力模块（MAM），用于同时进行特征提取和目标信息集成。这种同步建模方案使我们能够提取目标特定的判别特征，并在目标和搜索区域之间进行广泛的通信。
深度学习之循环神经网络(RNN)
weixin_43775295的博客
11-12 378
其一般处理单个的输入，前一个输入和后一个输入完全无关，但实际应用中，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。​ 由于RNN特有的memory会影响后期其他的RNN的特点，梯度时大时小，learning rate没法个性化的调整，导致RNN在train的过程中，Loss会震荡起伏，为了解决RNN的这个问题，在训练的时候，可以设置临界值，当梯度大于某个临界值，直接截断，用这个临界值作为梯度的大小，防止大幅震荡。中必须包含原始序列中的所有信息，它的长度就成了限制模型性能的瓶颈。
CNN和MobileNetV2搭建的水果识别模型
chengxuyuanlaow的博客
11-09 712
在本项目中着重探索了利用深度学习模型进行水果图像分类的方法。具体而言包括使用卷积神经网络（CNN）模型进行水果图片的分类和探索轻量级神经网络模型MobileNetV2在水果图像分类中的应用。在第一项任务中，使用TensorFlow构建了一个简单的CNN模型，并通过调整模型参数来提高准确率。在实验过程中发现由于数据集的问题，训练结果并不理想，测试集上的准确率低于预期，同时出现了过拟合的情况。针对这个问题，从优化器、学习率和训练轮次等方面入手，对模型进行了改进和调整。
[卷积神经网络]使用YOLOv11训练自己的模型
就随便写写....
11-08 681
使用YOLOv11训练自己的数据
每天五分钟深度学习PyTorch：基于全连接神经网络完成手写字体识别
huanfeng_AI的博客
11-09 277
上一节我们学习了搭建普通的全连接神经网络，我们现在用它来解决一个实际问题，我们用它跑一下手写字体识别的数据，然后看看它的效果如何。
生成模型——PixelRNN与PixelCNN
大摆王的博客
11-12 298
PixelRNN 是一种基于循环神经网络（RNN）的像素级生成模型，通过逐个像素地生成图像来构建完整的图像，其核心思想是将图像中的像素视为序列，并利用 RNN 的能力来捕捉像素之间的依赖关系。PixelCNN 是一种基于卷积神经网络（CNN）的像素级生成模型，它使用掩码卷积来捕捉像素之间的依赖关系。
深度学习经典模型之VGGNet
weixin_43775295的博客
11-08 474
​ VGGNet是由牛津大学视觉几何小组（Visual Geometry Group, VGG）提出的一种深层卷积网络结构，他们以7.32%的错误率赢得了2014年ILSVRC分类任务的亚军（冠军由GoogLeNet以6.65%的错误率夺得）和25.32%的错误率夺得定位任务（Localization）的第一名（GoogLeNet错误率为26.44%）5^{[5]}5，网络名称VGGNet取自该小组名缩写。VGGNet是首批把图像分类的错误率降低到10%以内模型，同时该网络所采用的3×3。
《深度学习》——深度学习基础知识（全连接神经网络）
qq_59702185的博客
11-07 1043
在介绍神经网络之前，我们先看下面这幅图：人工智能>机器学习>深度学习深度学习是机器学习的⼀个⼦集，也就是说深度学习是实现机器学习的⼀种⽅法。与机器学习算法的主要区别如下图所示：传统机器学习依赖于人工设计特征，并进行特征提取，而深度学习算法不需要人工，而是依赖算法自动提取特征，这也是深度学习被看做黑盒子、可解释性差的原因。卷积神经网络（CNN）循环神经网络（RNN）生成对抗网络（GAN）深度强化网络（DRN）
机器学习、深度学习面试知识点汇总
最新发布
11-12 170
本人在面试中整理的资料和文字，主要针对机器学习、深度学习面试八股做浅显的总结，共20余篇，大部分来源于ChatGPT，欢迎各位指正。 文章系列图像使用动漫《星游记》插图。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值