PyTorch维度变换(view,reshape,transpose,permute)

import torch

1、reshape方法

用法与NumPy的一模一样,既可以从torch这个库调用,torch.reshape(input, shape),也可以在Tensor对象上调用torch.Tensor.reshape(shape)

2、view方法

reshape方法相比有较大的局限性,原因在于

  1. 只能在Tensor对象上调用
  2. Tensor对象必须是contiguous的,故常与contiguous方法连用:torch.Tensor.contiguous().view(size),效果等价于torch.Tensor.reshape(shape)

所以,用view方法还不如直接用reshape方便

3、permute方法

permute方法是基于Tensor对象的,作用是置换Tensor的某几个维度。
在这里插入图片描述

4、transpose方法

基于torch库或Tensor对象,作用是置换Tensor的某两个维度。
在这里插入图片描述

5、T属性

返回原张量的转置,其对应的shape逆序。

>>>a = torch.randn(2,3,4,5)
>>>a.size()
torch.Size([2, 3, 4, 5])
>>>a.T.size()
torch.Size([5, 4, 3, 2])
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
你想了解关于 PyTorch 中的 ShuffleAttention 吗?ShuffleAttention 是一种注意力机制,用于在自注意力模型中对输入序列进行特征提取。它在 Transformer 模型的基础上进行了改进,通过引入 Shuffle 操作来增强模型的表达能力。 在 PyTorch 中,你可以通过自定义一个 ShuffleAttention 类来实现 ShuffleAttention。下面是一个简单的示例代码: ```python import torch import torch.nn as nn class ShuffleAttention(nn.Module): def __init__(self, dim, num_heads=8, dropout=0.1): super(ShuffleAttention, self).__init__() self.num_heads = num_heads self.head_dim = dim // num_heads self.scale = self.head_dim ** -0.5 self.qkv = nn.Linear(dim, dim * 3) self.attn_dropout = nn.Dropout(dropout) self.proj = nn.Linear(dim, dim) self.proj_dropout = nn.Dropout(dropout) def forward(self, x): B, L, C = x.shape H = self.num_heads head_dim = self.head_dim qkv = self.qkv(x).reshape(B, L, 3, H, head_dim).permute(2, 0, 3, 1, 4) q, k, v = qkv[0], qkv[1], qkv[2] attn_weights = (q @ k.transpose(-2, -1)) * self.scale attn_probs = nn.Softmax(dim=-1)(attn_weights) attn_probs = self.attn_dropout(attn_probs) attended_vals = attn_probs @ v attended_vals = attended_vals.transpose(1, 2).reshape(B, L, C) x = self.proj_dropout(self.proj(attended_vals)) return x ``` 这是一个简化版的 ShuffleAttention 实现,其中包含了自注意力机制的关键步骤,如计算注意力权重、进行注意力加权和投影操作等。你可以根据自己的需求进行修改和扩展。 希望以上信息能对你有所帮助!如果还有其他问题,请随时提问。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值