Transformer中对x.flatten(2).permute(2, 0, 1)的学习

最新推荐文章于 2024-08-20 15:14:06 发布

困鲲鲲

最新推荐文章于 2024-08-20 15:14:06 发布

阅读量1.6k

点赞数 4

文章标签：学习 python transformer Powered by 金山文档

本文链接：https://blog.csdn.net/weixin_51878399/article/details/129212196

版权

在学习Transformer中遇到了x.flatten(2).permute(2, 0, 1)，乍一看就很头大，完全不知道什么意思。下面一起来学习一下吧。

permute函数

作用是改变tensor的内部维度的顺序。

最初始为permute(0, 1，2)，0、1、2依次表示通道、行、列三个概念。

permute(2, 0, 1)就表示将原来的列提到最前面，另外两个依次退后一个。

flatten函数

将维度展开为一维的函数。

python里的flatten(dim)表示，从第dim个维度开始展开，将后面的维度转化为一维。

也就是说，只保留dim之前的维度，其他维度的数据全都挤在dim这一维。

此处的flatten(2)表示将第2个维度及以后展开到第2维上。

总体理解

先flatten再permute，即先将原来的第2维（实际是序号为三）后的维度展平到第2维，再将原来的2维（即列）提到最前面，另外两个依次退后一个。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

困鲲鲲

关注关注

4
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

【SwinTransformer】GitHub源码，main.py，swin_transformer.py...

追光者♂：记录、分享、总结、提升，现象级专栏《Python从入门到人工智能》作者，无惧黑暗，坚信曙光

12-23

876

【SwinTransformer】GitHub源码，main.py，swin_transformer.py...

芒果YOLOv5改进89：主干篇：结合 Swin Transformer V2结构，Swin Transformer V2：通向视觉大模型之路

最新发布

qq_52065792的博客

08-20

145

方法在 PyTorch 1.2 版本及以后被引入，它会返回一个新的张量，其形状是一维的，并且保持了原始张量的元素顺序。将从第一个维度开始展平，这样就可以保持批量大小不变，而将剩余的维度展平成一维。参数确保了批量维度（通常是第一个维度）保持不变。，默认是从第一个维度开始展平。

x.flatten(2).transpose(1, 2)

m0_57782802的博客

01-03

1214

沿着第二个维度（也就是长度为 4 的那个维度）展开成一个长度为 8 的一维数组，其中包含了原来的所有元素。python里的flatten(dim)表示，从第dim个维度开始展开，将后面的维度转化为一维。交换数据的索引，对应的值还是不变，即交换了坐标轴，如[0][1][0] —>[1][0][0]也就是说，只保留dim之前的维度，其他维度的数据全都挤在dim这一维。含义：将输入张量的第二维和第三维展平，然后交换第一维和第二维的位置。将维度展开为一维的函数。根据变换后的索引进行归类。

FLatten-Transformer

weixin_31727797的博客

08-09

本文深入分析了现有线性注意力方法的缺陷，并提出了一个全新的聚焦的线性注意力模块，同时具有高效性和很强的模型表达能力。论文链接：https://arxiv.org/abs/2308.00442代码链接：https://github.com/LeapLabTHU/FLatten-Transformer在Transformer模...

permute（）用法

sky的博客

03-20

4991

permute(dims) 将tensor的维度换位。参数：参数是一系列的整数，代表原来张量的维度。比如三维就有0，1，2这些dimension。例： import torch import numpyas np a=np.array([[[1,2,3],[4,5,6]]]) unpermuted=torch.tensor(a) print(unpermuted.size())...

对pytorch中x = x.view(x.size(0), -1) 的理解说明

胭脂草的ABC博客

06-22

1904

这篇文章主要介绍了对pytorch中x = x.view(x.size(0), -1) 的理解说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧在pytorch的CNN代码中经常会看到 x.view(x.size(0), -1) 首先，在pytorch中的view()函数就是用来改变tensor的形状的，例如将2行3列的tensor变为1行6列，其中-1表示会自适应的调整剩余的维度 a = torch.Tensor(2,3) print(a) # tensor([[0....

【深度学习】（ICCV-2021）PVT-金字塔 Vision Transformer及PVT_V2

zhe470719的博客

05-17

9095

目录详情详情名称：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 论文：原文代码：官方代码笔记参考： 1.语义分割中的Transformer（第三篇）：PVT — 用于密集预测任务的金字塔 Vision Transformer ...

简单有趣的变形金刚网络（VIT） Vision Transformer（可以直接替换自己数据集）-直接放置自己的数据集就能直接跑（网络结构详解+详细注释代码+核心思想讲解）——pytorch实现

爱吃橘子的小翟

05-10

3951

论文题目： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 原论文下载链接：https://arxiv.org/abs/2010.11929 原论文对应源代码：mirrors / google-research / vision_transformer · GitCode Transformer最先应用于在NIP领域，并且取得了巨大的成功，事实上NIP和CV作为深度学习应用最广的两个领域，两者的

ICCV2023：FLatten Transformer: Vision Transformer using Focused Linear Attention

asuiyu的博客

03-01

1552

self-attention 的二次计算复杂度一直是将Transform模型应用于视觉任务时面临的一个持续挑战。另一方面，线性注意力通过精心设计的映射函数逼近Softmax操作，以其线性复杂性提供了一种更有效的替代方案。然而，当前的线性注意力方法要么遭受显着的性能下降，要么引入了映射函数的额外计算开销。在本文中，我们提出了一种新颖的聚焦线性注意力模块，以实现高效率和表现力。具体而言，我们首先从两个视角分析了导致线性注意力性能下降的因素：聚焦能力和特征多样性。为了克服这些限制，我们引入了一个简单而有效的映射函

X.flatten()函数解析

qq_43043457的博客

01-23

597

python里的flatten(dim)表示，从第dim个维度开始展开，将后面的维度转化为一维。也就是说，只保留dim之前的维度，其他维度的数据全都挤在dim这一维。此处的flatten(2)表示将第2个维度及以后维度展开到第2维上。将维度展开为一维的函数。

麻省理工！FlatFormer: 一种高效的点云Transformer

CV_Autobot的博客

02-25

1171

作者| 汽车人编辑| 自动驾驶之心原文链接：https://zhuanlan.zhihu.com/p/607958769?点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【领域综述】获取自动驾驶全栈近80篇综述论文！论文：https://arxiv.org/pdf/2301.08739.pdf作者单位：麻省理工学院上海交通大学清...

ICCV 2023 | 新注意力！清华黄高团队提出FLatten Transformer视觉新主干

阿木寺的博客

09-11

2692

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【3D目标检测和Transformer】群作者：胖达憨憨（源：知乎，已授权）| 编辑：CVer公众号https://zhuanlan.zhihu.com/p/654278001在CVer微信公众号后台回复：FLA，可以下载本论文pdf和代码FLatten Transformer: Vision Transform...

深度学习之Pytorch中的flatten()、transpose()和permute()

zero_ling

11-14

3176

flatten()：压缩维度；transpose()：转置（两个维度）；permute()：按照指定维度排列进行转置（多个维度）

Dual-Flattening Transformers through Decomposed Row and Column Queries for Semantic Segmentation论文解读

qq_42476803的博客

01-06

348

本篇文章将输入特征图分别按行和列展开，获得两个序列特征图，将这两个序列做类似于cross-attention的自注意力。这么做的好处在于以往从低分率特征图h * w到高分辨率特征图H * W需要O(hwHW)的复杂度，现在只需要O(hw(H+W))，同时也能有效的恢复细粒度细节。论文PDF地址。

flatten()函数用法

qq_40660825的博客

09-01

4831

from numpy import * a=mat([[1,2,3],[4,5,6]]) print(a) print(a.flatten()) 运行结果为：[[1 2 3] [4 5 6]] [[1 2 3 4 5 6]] b=array([[1,2],[3,4],[5,6]]) print(b) print(b.flatten()) 运行结果为：[[1 2] [3 4] [5 6]] 1 ...

A video vision transformer

11-17

视频视觉Transformer（ViViT）是一种新型的视频分类模型，它使用Transformer架构来处理视频数据。与传统的卷积神经网络不同，ViViT使用自注意力机制来捕捉视频中的时空关系。这种方法可以更好地处理视频中的长期依赖关系，并且可以在不使用卷积的情况下实现更好的性能。以下是一个使用ViViT进行视频分类的Python代码示例： ```python import torch import torch.nn as nn from torchvision.models.video import r2plus1d_18 class ViViT(nn.Module): def __init__(self, num_classes=400, dim=512, depth=12, heads=8, mlp_dim=2048, dropout=0.1): super().__init__() self.backbone = r2plus1d_18(pretrained=True) self.backbone.fc = nn.Identity() self.pos_embedding = nn.Parameter(torch.randn(1, 16, dim)) self.cls_token = nn.Parameter(torch.randn(1, 1, dim)) self.transformer = nn.TransformerEncoder( nn.TransformerEncoderLayer( d_model=dim, nhead=heads, dim_feedforward=mlp_dim, dropout=dropout ), num_layers=depth ) self.fc = nn.Linear(dim, num_classes) def forward(self, x): x = self.backbone(x) x = x.permute(0, 2, 1, 3, 4).flatten(2).transpose(1, 2) b, n, _ = x.shape cls_tokens = self.cls_token.expand(b, -1, -1) x = torch.cat((cls_tokens, x), dim=1) x += self.pos_embedding[:, :(n + 1)] x = self.transformer(x) x = x.mean(dim=1) x = self.fc(x) return x ```