最近的vision transformer阅读

已于 2022-06-15 21:56:21 修改
阅读量1.3k 收藏 1
点赞数
分类专栏： 论文阅读 # Vision Transformer 文章标签： transformer 计算机视觉
于 2022-06-03 17:16:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/laizi_laizi/article/details/125075155
版权
本文探讨了Vision Transformer的最新进展，包括Token Labeling、DynamicViT、Token Clustering Transformer (TCFormer) 和 Neighborhood Attention Transformer (NAT)。文章分析了这些方法如何改进效率和性能，例如通过动态令牌稀疏化、特征聚类和局部注意力机制。同时，提到了多模态令牌融合在Vision Transformers中的应用。
摘要由CSDN通过智能技术生成

最近的vision transformer阅读

All Tokens Matter: Token Labeling for Training Better Vision Transformers(NIPS2021)

在这里插入图片描述
paper: http://proceedings.neurips.cc/paper/2021/file/9a49a25d845a483fae4be7e341368e36-Paper.pdf
github: https://github.com/zihangJiang/TokenLabeling
这里All Tokens Matter是针对之前vanilla ViT只用class token用来最后的预测而言的，这里要用上所有token的信息。具体做法就是给多层的token输出都增加与位置相关（其实就是能和patch对应上）的监督，从而辅助整体网络学习定位更精准。
在这里插入图片描述

DynamicViT: Efficient Vision Transformers with Dynamic Token Sparsification(NIPS2021)

在这里插入图片描述

paper：http://proceedings.neurips.cc/paper/2021/file/747d3443e319a22747fbb873e8b2f9f2-Paper.pdf
github:

最低0.47元/天 解锁文章
laizi_laizi
关注
专栏目录
【CVPR 2022 多模态融合（有3D检测）】Multimodal Token Fusion for Vision Transformers
梁瑛平的博客
09-12 2491
在本文中，作者提出了一种多模态 Token 融合方法（Token Fusion），针对基于 Transformer 的视觉任务。为了有效地融合多种模式，Token Fusion 动态检测无信息的 token，并用投影和聚合的跨模态特征替代这些 token。
vision-transformer-pytorch:带有预训练模型的Pytorch版本的Vision Transformer（ViT）。 这是CASL（https
04-13
视觉变压器-火炬 视觉变压器的Pytorch实现。 提供了预先训练的pytorch权重，这些权重是从原始jax /亚麻权重转换而来的。 这是和的项目。 介绍 Pytorch实施的论文 。 我们提供从预训练的jax /亚麻模型转换而来的预...
Multimodal Token Fusion for Vision Transformers
qq_43733107的博客
12-06 1568
Multimodal Token Fusion for Vision Transformers
论文笔记3Not all tokens are equal: Human-centric visual analysis via token clustering Transformer.
最新发布
qq_52922190的博客
09-05 447
然而，在以人为中心的视觉任务中，并非所有区域都同等重要，例如人体需要更精细的表示，而图像背景则可以用较少的令牌来建模。TCFormer中的令牌不仅能聚焦于重要区域，还能调整令牌形状以适应语义概念，并为包含关键细节的区域采用更精细的分辨率，这有利于捕捉详细信息。TCFormer通过动态地生成和调整令牌，更好地适应了图像中的重要区域，从而提高了模型在以人为中心的视觉任务上的性能。- **初始令牌生成**：首先，图像被分割成一系列重叠的网格单元，每个单元生成一个初始令牌。3. **灵活的令牌形状和大小**
④Multimodal Token Fusion for Vision Transformers
2301_77549977的博客
07-25 935
许多Transformer的适应性版本已经出现，以解决单模态视觉任务，其中自注意力模块堆叠起来处理图像等输入源。直观上，向视觉Transformer提供多种模态的数据可以提高性能，但模态内的注意力权重可能会被稀释，从而削弱最终的性能。在本文中，我们提出了一种针对基于Transformer的视觉任务的多模态令牌融合方法（TokenFusion）。为了有效地融合多种模态，TokenFusion动态检测无信息的令牌，并用投影和聚合的跨模态特征替换这些令牌。此外，还采用了残差位置对齐，以在融合后显式利用跨模态对齐。
最近几篇较好论文实现代码（附源代码下载）
AbnerAI的博客
03-04 3433
【代码】最近几篇较好论文实现代码（附源代码下载）
【AI视野·今日CV 计算机视觉论文速览 第245期】Wed, 20 Apr 2022
TomRen
04-21 2744
AI视野·今日CS.CV 计算机视觉论文速览 Wed, 20 Apr 2022 Totally 80 papers 👉上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Unsupervised detection of ash dieback disease (Hymenoscyphus fraxineus) using diffusion-based hyperspectral image clustering Authors Sam L. Polk, .
引领未来的多模态令牌融合：Vision Transformers 的新纪元
gitblog_00034的博客
06-11 465
引领未来的多模态令牌融合：Vision Transformers 的新纪元 TokenFusion项目地址:https://gitcode.com/gh_mirrors/to/TokenFusion 在计算机视觉领域，Transformer架构的潜力正在被不断挖掘。最近，一项名为“Multimodal Token Fusion for Vision Transformers”的创新研究，在CVP...
Vision Transformer 源码解读
02-03
在文本任务中大量使用了Transformer 架构，因为文本数据是一个序列非常好的契合Transformer 架构。 可是如何将一张图像展开成一个序列呢？ 将一个文本数据使用Transformer 进行特征提取需要把文本embbeding成一个...
vision transformer预训练
12-06
在计算机视觉领域，Transformer模型已经成为一种重要的工具，尤其是Vision Transformer (ViT)的出现，它打破了传统的卷积神经网络(CNN)在图像识别任务中的主导地位。预训练技术在自然语言处理领域取得了显著成功，如...
Vision Transformer 论文阅读报告
08-05
ViT图像分类模型，将NLP的一些概念迁移到了图像领域，对于后续图像大模型的提出有很大的影响，这是本人所写难免有些地方有所疏忽，希望大家不吝赐教。
第八次组会PPT_Vision in Transformer
04-23
【Vision Transformer】(ViT) 是深度学习领域中一种创新性的模型，它源自于Transformer架构，最初被广泛应用于自然语言处理（NLP）任务。尽管Transformer在NLP中取得了显著的成功，但在计算机视觉（CV）领域的应用却...
论文阅读|TCFormer
weixin_45782047的博客
07-29 1596
人体姿态估计|TCFormer
[CVPR‘22-Oral] Not All Tokens Are Equal Human-centric Visual Analysis via Token Clustering Transform
qq_40731332的博客
12-11 673
研究背景：Vision tokens是vision transformer的重要组成部分。传统方法将图片分割为均匀块，作为vision tokens；存在问题：对以人为中心的视觉任务而言，人需要更多token和更细粒度的特征表征，相对而言，则需要减少用于表征背景的token数量；解决方法：提出一种适用于人体关键点检测的dynamic token generation算法，Token Clustering Transformer (TCFormer)。
CVPR2022论文速递（2022.4.20）！共13篇！
zero的博客
04-20 5022
整理：AI算法与图像处理CVPR2022论文和代码整理：https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo欢迎关注公众号 AI算法与图像处理，获取更多干货：大家好,最近正在优化每周分享的CVPR论文, 目前考虑按照不同类别去分类,方便不同方向的小伙伴挑选自己感兴趣的论文哈欢迎大家留言其他想法, 合适的话会...
Multimodal Fusion（多模态融合）
热门推荐
nakaizura
03-28 17万+
Jeff Dean：我认为，2020年在多任务学习和多模态学习方面会有很大进展，解决更多的问题。我觉得那会很有趣。 多模态融合 （Multimodal Fusion） 一般来说，每一种信息的来源或者形式，都可以称为一种模态（Modality），目前研究领域中主要是对图像，文本，语音三种模态的处理。之所以要对模态进行融合，是因为不同模态的表现方式不一样，看待事物的角度也会不一样，所以存在一些交叉（所...
多模态预训练模型选用指南（Vision-Language Pre-traning）
nakaizura
05-03 3437
关于预训练的诸多模型，博主已经在以往的文章中整理过： Cross-modal Pretraining in BERT（跨模态预训练） OpenAI CLIP，DALL-E CLIP在视频领域的应用（CLIPBERT，CLIP4Clip，CLIP2Video，CLIPTV） 本篇整理一下最近几篇关于Vision-Language Pre-traning(VLP)的综述文章，以及一篇很不错的，关于各个组件的选用指南文章。 VLP: A Survey on Vision-Language Pre-traini
vision Transformer
03-06
Vision Transformer（ViT）是一种基于Transformer架构的深度学习模型，用于处理计算机视觉任务。它将图像分割成一系列的图像块，并将每个图像块作为输入序列传递给Transformer编码器。每个图像块通过一个线性投影层...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

laizi_laizi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值