DL-Paper精读：CPVT-可变Position encoding

最新推荐文章于 2024-04-16 13:21:39 发布
最新推荐文章于 2024-04-16 13:21:39 发布
阅读量1k 收藏 4
点赞数
分类专栏： paper阅读 文章标签： 计算机视觉 机器学习 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li6016265/article/details/114297041
版权

Do We Really Need Explicit Position Encodings for Vision Transformers?

https://arxiv.org/abs/2102.10882

Background

近两年，Transformer结构进军CV领域，并以席卷之势相继攻克了分类，检测，分割等等任务。因为CNN所关注的是有限感受野内的信息，而Transformer的自注意力机制则可以捕获长距离信息，并且根据图像尺寸而动态地调整其感受野，因此Transformer能够在各个任务领域获得相比CNN更高的精度。

Related work and the limit

在传统的NLP任务中，RNN等序列模型，自身便包含了词的位置信息。而Transformer模型采用Attention机制来学习各个词之间的关系，抛弃了它们的位置信息。但在语言理解中，位置信息是非常重要的，因此需要显式地生成position encoding，手动加入各点的位置信息。而对于图像领域的Vision Transformer，二维图像各个patch之间的相对位置关系也对物体的模式理解有重要的作用。

常见的position encoding方式包括绝对位置编码和相对位置编码等。目前常用的一般是绝对位置编码，包括在Transformer中提出的sinusoidal编码方式，以及在GPT，ViT等中所使用的可训练的位置编码等。但是这种绝对位置编码针对特定分辨率的任务，在训练时就会生成固定尺寸的编码，无法处理不同分辨率大小的图片，这极大地妨碍了Transformer地灵活性和更大的应用空间。常见的处理方式是在处理不同分辨率的图像时，对训练好的position enc

最低0.47元/天 解锁文章
星月野
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
multidim-positional-encoding:pytorch中1D，2D和3D位置编码的实现
05-04
1D，2D和3D正弦波位置编码喷灯 这是1D，2D和3D正弦位置编码的实现，能够在(batchsize, x, ch) ， (batchsize, x, y, ch)和(batchsize, x, y, z, ch) ，其中位置编码将添加到ch维度。 仅一维的位置编码就，但是，这可以将其扩展到2维和3维。 新：这也适用于以下形式的张量(batchsize, ch, x)等。对于这种类型的输入，包括单词Permute在类数目之前; 例如，对于大小为(batchsize, ch, x)一维输入，请执行PositionalEncodingPermute1D而不是PositionalEncoding1D 。 要安装，只需运行： pip install positional-encodings 具体地说，用于插入位置编码的公式如下： 1D： PE(x,2i) = sin(x/10000^(
CVPR 2021 Conditional Positional Encodings for Vision Transformers
smile909的博客
04-03 2282
动机 最近，在分类和检测等视觉识别任务中，transformer被认为是卷积神经网络（CNNs）的一种强有力的替代方法。 与CNNs中的卷积运算具有有限的感受野不同，transformer中的自我注意机制能够捕捉远距离信息，并根据图像内容动态调整感受野。因此，transformer被认为比CNN更灵活、更强大，因此有望在视觉识别方面取得更大进展。 transformer中的自我注意力操作是排列不变的，它不能利用输入序列中标签的顺序。 为了缓解这一问题，以前的工作添加了绝对位置编码器到输入序列中的每个
CPVT：美团提出动态位置编码，让ViT的输入更灵活 | ICLR 2023
最新发布
晓飞的算法工程笔记
04-16 573
论文提出了一种新的ViT位置编码CPE，基于每个token的局部邻域信息动态地生成对应位置编码。CPE由卷积实现，使得模型融合CNN和Transfomer的优点，不仅可以处理较长的输入序列，也可以在视觉任务中保持理想的平移不变性。从实验结果来看，基于CPE的CPVT比以前的位置编码方法效果更好来源：晓飞的算法工程笔记 公众号。
如何优雅地编码文本中的位置信息？三种positioanl encoding方法简述
zenRRan的博客
03-31 1625
前言相信熟悉BERT的小伙伴对positional encoding（位置表示） 肯定都不会陌生~ 虽然positional encoding只是BERT中比较小的一个组成部分，但是实际...
论文阅读《Rethinking and Improving Relative Position Encoding for Vision Transformer》
lzh666hhh的博客
08-19 1790
动机 相对位置编码在自然语言处理任务中被证明是有效的，而在视觉任务中更常见绝对位置编码，那么相对位置编码在视觉任务中是否有用？ 如果有用，是哪些因素起到了作用？ 贡献 验证了相对位置编码的有效性 验证了相对位置编码中不同因素起到的作用 方法 问题一：以前的相对位置编码都依赖于input embeddings，那么编码是否可以独立于输入 探究方法：设计了两种相对位置编码的模式，偏置模式（独立输入）和上下文模式（考虑与查询、键或值的交互） 偏置模式 rij为可学习标量，表示位置i和j之
vision transformer的位置编码总结
winycg的博客
10-09 9074
视觉transformer位置编码
深度学习 Transformer机制
Fantastic
10-30 6061
Transformer
c_dot_cpvt2_Thermodynamics_
10-03
thermodynamics directory code
为什么Transformer / ViT 中的Position Encoding能和Feature Embedding直接相加？
大脸猫的博客
05-05 2937
前言 刚开始学习Transformer / ViT的时候会发现为什么作者会将Position Encoding直接和Feature Embedding相加？当时的第一反应是，为什么不是concat，因为两者分明是两种异构的信息，为什么能放在一起相加呢？不应该concat才合理么？最近对一些工作做收尾的时候发现了这个后来被我遗漏的问题。（如果不知道Position Encoding是啥的建议先去阅读一下原论文） 问题 从向量空间的角度来看，我原本有一个Feature Embedding向量矩阵，我再加上
Positional Encodings in ViTs 近期各视觉Transformer中的位置编码方法总结及代码解析 1
热门推荐
weixin_44966641的博客
08-01 1万+
Positonal Encodings in ViTs 近期各视觉Transformer中的位置编码方法总结及代码解析 最近CV领域的Vision Transformer将在NLP领域的Transormer结果借鉴过来，屠杀了各大CV榜单。对其做各种改进的顶会论文也是层出不穷，本文将聚焦于各种最新的视觉transformer的位置编码部分的设计思想及代码实现做一些总结。 ViT 论文：https://arxiv.org/abs/2010.11929 代码：https://github.com/lucidra
【CPVT】论文记录 Conditional position Encoding for Vision transformer
qq_39333636的博客
05-07 2110
本文主要提出了一种基于条件位置编码（CPE）的PEG，PEG相对比目前所存在的解决位置编码的方案可以使得TF（transformer）更灵活更泛化，并且在保证平移不变性的情况下减少了计算量，可以即插即用的加入到现有的深度学习框架中。作者将VIT做了两种改动，一种是只去掉了绝对位置编码，称之为CPVT，另一种是去掉了绝对位置编码和Cls_token，加入GAP来代替Cls_token的作用，称之为CPVT-GAP。
Conditional Positional Encodings for Vision Transformers（论文阅读笔记）
Li_yan的博客
11-21 1039
Conditional Positional Encodings for Vision Transformers（论文阅读笔记）
Transformer 中 Positional Encoding 实现
Scabbards_的博客
10-15 314
最近弄多模态中那个4维向量需要变成positional embedding导致中间代码卡了一段时间....把这一块浅浅多了解一下，因为很多多模态任务都需要这种位置编码....卡好久了！今个非得给他整明白了！
对 Vision Transformers 及其基于 CNN-Transformer 的变体的综述
毕竟是Shy哥
12-01 1113
Vision transformers已经成为卷积神经网络(CNNs)的可能替代品，在各种计算机视觉应用中很受欢迎。这些变形金刚能够专注于图像中的全局关系，提供了强大的学习能力。然而，它们可能会受到有限的泛化，因为它们不倾向于在图像中建模局部相关性。最近，在视觉变压器中出现了混合卷积运算和自我注意机制，以利用局部和全局图像表示。这些混合视觉变压器，也称为cnn -Transformer结构，在视觉应用中显示出了显著的效果。鉴于混合视觉变压器数量的迅速增长，对这些混合架构进行分类和解释已成为必要。
位置编码Positional Encoding
fb_941219的博客
03-23 4724
摘抄自这里。在以前的模型中，NLP的每个Sequence都是一个token一个token的输入到模型当中。比如有一句话是“我喜欢吃洋葱”，那么输入模型的顺序就是“我”，“喜”，“欢“，”吃“，”洋“，”葱”，一个字一个字的。上面的输入方式其实就引入了一个问题。一个模型每次只吃了一个字，那么模型只能学习到前后两个字的信息，无法知道整句话讲了什么。为了解决这个问题，Transformer模型引用了Self-attention来解决这个问题。
如何高效、精准地进行图片搜索？看看轻量化视觉预训练模型
AI科技大本营
09-05 705
来源 |微软研究院AI头条编者按：你是否有过图像检索的烦恼？或是难以在海量化的图像中准确地找到所需图像，或是在基于文本的检索中得到差强人意的结果。对于这个难题，微软亚洲研究院和微软云计算与人工智能事业部的研究人员对轻量化视觉模型进行了深入研究，并提出了一系列视觉预训练模型的设计和压缩方法，实现了视觉 Transformer 的轻量化部署需求。目前该方法和模型已成功应用于微软必应搜索引擎，实现了百...
Vit，DeiT，DeepViT，CaiT，CPVT，CVT，CeiT简介
weixin_42638415的博客
03-12 4740
Vit: 最基础的，就是将transformer的encoder取出来。 输入图像大小维度(B,C,H,W)，将图片不重叠地划分为H/patch_height * w/patch_weight个patch，每个patch为patch_height * patch_weight * c。 之后，concat用于分类的cls token，维度+1，同时加入可学习的绝对位置编码，送入transformer的主体。 之后就与tansformer的计算相同，这里不多做赘述。...
二维位置编码 暂记
ResumeProject的博客
05-09 2141
（相对）位置编码 Stand-Alone Self-Attention in Vision Models-NIPS 2019 [网络主要结构](https://blog.csdn.net/baigalxy/article/details/93662282) [Stand-Alone Self-Attention in Vision Models](https://zhuanlan.zhihu.com/p/361259616) [paer](https://papers.nips.cc/paper/2019
Twins-PCPVT
07-27
Twins-PCPVT是一种基于PVT（Pyramid Vision Transformer）和CPVT（Cross-Stage Partial Vision Transformer）的Vision Transformer模型。在Twins-PCPVT中，作者重新审视了Vision Transformer的空间注意力设计，并发现PVT的全局下采样注意力是非常有效的，并且具备了比较合适的位置编码。基于这一发现，作者设计了Twins-PCPVT模型，它仅使用全局注意力机制。Twins-PCPVT在ImageNet-1K分类任务上取得了SOTA（State-of-the-Art）的结果，并且具有较高的吞吐率。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* *3* [深入解读 Twins-PCPVT and Twins-SVT —— 更强的Vision Transformer Backbone](https://blog.csdn.net/qq_38890412/article/details/121947667)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值