torch.cat---dim=num

最新推荐文章于 2023-10-12 19:54:57 发布
最新推荐文章于 2023-10-12 19:54:57 发布
阅读量639 收藏 3
点赞数 1
分类专栏： NLP 文章标签： 神经网络 自然语言处理 数据挖掘 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41128383/article/details/106476222
版权

— dim=0

from functools import reduce
import torch
a=torch.randn(1,3,3)
tensor([[[-1.3366, -0.7503,  0.8280],
         [-0.6265,  0.5649, -1.0375],
         [-1.7299, -0.0394,  0.4885]]])


b=torch.randn(1,3,3)
tensor([[[ 1.6557,  0.1908, -0.3583],
         [ 0.2740,  0.5985,  0.2180],
         [-0.4295,  1.6998,  0.3194]]])

d=torch.randn(1,3,3)
tensor([[[-0.5914, -3.3615, -0.1838],
         [ 0.8650,  0.5169,  0.1650],
         [-0.9087, -0.7443,  0.6909]]])


c=[a,b,d]
[tensor([[[-1.3366, -0.7503,  0.8280],
          [-0.6265,  0.5649, -1.0375],
          [-1.7299, -0.0394,  0.4885]]]), tensor([[[ 1.6557,  0.1908, -0.3583],
          [ 0.2740,  0.5985,  0.2180],
          [-0.4295,  1.6998,  0.3194]]]), tensor([[[-0.5914, -3.3615, -0.1838],
          [ 0.8650,  0.5169,  0.1650],
          [-0.9087, -0.7443,  0.6909]]])]



e = reduce(lambda x, y: torch.cat((x, y), dim=0), c)
tensor([[[-1.3366, -0.7503,  0.8280],
         [-0.6265,  0.5649, -1.0375],
         [-1.7299, -0.0394,  0.4885]],

        [[ 1.6557,  0.1908, -0.3583],
         [ 0.2740,  0.5985,  0.2180],
         [-0.4295,  1.6998,  0.3194]],

        [[-0.5914, -3.3615, -0.1838],
         [ 0.8650,  0.5169,  0.1650],
         [-0.9087, -0.7443,  0.6909]]])

— dim=1

e = reduce(lambda x, y: torch.cat((x, y), dim=1), c)

tensor([[[-1.3366, -0.7503,  0.8280],
         [-0.6265,  0.5649, -1.0375],
         [-1.7299, -0.0394,  0.4885],
         [ 1.6557,  0.1908, -0.3583],
         [ 0.2740,  0.5985,  0.2180],
         [-0.4295,  1.6998,  0.3194],
         [-0.5914, -3.3615, -0.1838],
         [ 0.8650,  0.5169,  0.1650],
         [-0.9087, -0.7443,  0.6909]]])

— dim=2

e = reduce(lambda x, y: torch.cat((x, y), dim=2), c)

tensor([[[-1.3366, -0.7503,  0.8280,  1.6557,  0.1908, -0.3583, -0.5914,
          -3.3615, -0.1838],
         [-0.6265,  0.5649, -1.0375,  0.2740,  0.5985,  0.2180,  0.8650,
           0.5169,  0.1650],
         [-1.7299, -0.0394,  0.4885, -0.4295,  1.6998,  0.3194, -0.9087,
          -0.7443,  0.6909]]])
baihaisheng
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
torch.cat()函数 dim = 2 和 -1 时关于第三维度的拼接。不理解的可问
qq_48983365的博客
03-29 3885
import torch c = torch.randn((2,3,4)) d = torch.randn((2,3,4)) print(c,d) print(c.shape,d.shape) print(torch.cat((c,d),dim=0)) print(torch.cat((c,d),dim=1)) print(torch.cat((c,d),dim=2)) m = torch.cat((c,d),dim=0) n = torch.cat((c,d),dim=1) l = torch.cat(
torch.cat()函数的官方解释，详解以及例子
01-20
可以直接看最下面的例子，再回头看前面的解释，就很明白了。 在pytorch中，常见的拼接函数主要是两个，分别是： stack() cat() 一般torch.cat()是为了把函数torch.stack()得到tensor进行拼接而存在的。 区别参考链接torch.stack()，但是本文主要说cat()。 前言 和python中的内置函数cat()， 在使用和目的上，是没有区别的。 1. cat()官方解释 —-torch.cat(inputs, dim=0) → Tensor 函数目的： 在给定维度上对输入的张量序列seq 进行连接操作。 outputs = torch.cat(input
torch.cat([gen_embed, domain_embed], dim=2)
qq_38148600的博客
08-10 1021
我对torch.cat做了以下实验 不知道为什么模型代码会出现dim=2 我推测可能是tensor变量维度低了 于是我做了下面实验 果然是这样
torch.cat()中dim说明
m0_60105894的博客
12-14 3238
初次接触众多博客对dim的讲解为，对于两个二维张量作为输入，dim取0结果为两个张量按行拼接，取1结果为按列拼接，但是对于高维来说就有点难以直观想象结果了，我们尝试三维情况进而总结规律。其中初学者最费解的就是dim的选取，dim的取值范围由输入张量的维度决定，输入为n维张量，dim取值在[0,n-1],接下来我们以实验理解dim不同取值对应的不同操作结果。至此，torch.cat（）的dim作用已经讲清楚，建议动手实验一下就可以弄明白其中的奥秘！
torch.cat()里的dim参数
最新发布
qq_45711921的博客
10-12 676
torch.cat(dim=) 是 PyTorch 中用于在指定维度上拼接（concatenate）张量的函数。 参数 dim=1 表示沿着第一个维度（即列维度）进行拼接。参数 dim=0 表示沿着行维度进行拼接。
pytorch中torch.cat()函数用法
ZHUQIUSHI123的博客
02-14 1万+
torch.cat(seq,dim,out=None) 其中seq表示要连接的两个序列，以元组的形式给出，例如:seq=(a,b), a,b 为两个可以连接的序列 dim 表示以哪个维度连接，dim=0, 横向连接，dim=1,纵向连接 举例如下： import torch a = torch.ones([1, 2]) b = torch.ones([1, 2]) print(torch.cat...
这段代码有什么错误def forward(self,x): num_nodes = x.size(1) # sub_graph size batch_size = x.size(0) W = torch.cat([self.W] * batch_size, dim=0) representation = torch.matmul(x, W) r_sum = torch.sum(representation, dim=-1, keepdim=False) b = torch.zeros([batch_size, num_nodes]) b = Variable(b) one = torch.ones_like(r_sum) zero = torch.zeros_like(r_sum) label = torch.clone(r_sum) label = torch.where(label == 0, one, zero) b.data.masked_fill_(label.bool(), -float('inf')) num_iterations = 3 for i in range(num_iterations): c = torch.nn.functional.softmax(b, dim=-1) weight_coeff = c.unsqueeze(dim=1) representation_global = torch.matmul(weight_coeff, representation) representation_global_all = torch.cat([representation_global] * num_nodes, dim=1) representation_similarity = torch.nn.functional.cosine_similarity(representation, representation_global_all, dim=-1) representation_similarity.data.masked_fill_(label.bool(), -float('inf')) b = representation_similarity return representation_global.squeeze(dim=1)
06-08
representation_global_all = torch.cat([representation_global] * num_nodes, dim=1) representation_similarity = torch.nn.functional.cosine_similarity(representation, representation_global_all, dim=-1)...
修改下列模块代码，使其能够对三维模型的直线特征进行提取：class FaceKernelCorrelation(nn.Module): def __init__(self, num_kernel=64, sigma=0.2): super(FaceKernelCorrelation, self).__init__() self.num_kernel = num_kernel self.sigma = sigma self.weight_alpha = Parameter(torch.rand(1, num_kernel, 4) * np.pi) self.weight_beta = Parameter(torch.rand(1, num_kernel, 4) * 2 * np.pi) self.bn = nn.BatchNorm1d(num_kernel) self.relu = nn.ReLU() def forward(self, normals, neighbor_index): b, _, n = normals.size() center = normals.unsqueeze(2).expand(-1, -1, self.num_kernel, -1).unsqueeze(4) neighbor = torch.gather(normals.unsqueeze(3).expand(-1, -1, -1, 3), 2, neighbor_index.unsqueeze(1).expand(-1, 3, -1, -1)) neighbor = neighbor.unsqueeze(2).expand(-1, -1, self.num_kernel, -1, -1) fea = torch.cat([center, neighbor], 4) fea = fea.unsqueeze(5).expand(-1, -1, -1, -1, -1, 4) weight = torch.cat([torch.sin(self.weight_alpha) * torch.cos(self.weight_beta), torch.sin(self.weight_alpha) * torch.sin(self.weight_beta), torch.cos(self.weight_alpha)], 0) weight = weight.unsqueeze(0).expand(b, -1, -1, -1) weight = weight.unsqueeze(3).expand(-1, -1, -1, n, -1) weight = weight.unsqueeze(4).expand(-1, -1, -1, -1, 4, -1) dist = torch.sum((fea - weight)**2, 1) fea = torch.sum(torch.sum(np.e**(dist / (-2 * self.sigma**2)), 4), 3) / 16 return self.relu(self.bn(fea))
05-25
fea = torch.cat([center, direction, length], dim=4) fea = fea.unsqueeze(5).expand(-1, -1, -1, -1, -1, 6) weight = torch.cat([torch.sin(self.weight_alpha) * torch.cos(self.weight_beta), torch.sin...
class GAT(nn.Module): def __init__(self, in_dim, out_dim, num_heads): super(GAT, self).__init__() self.num_heads = num_heads self.attentions = nn.ModuleList([nn.Linear(in_dim, out_dim) for _ in range(num_heads)]) self.out_att = nn.Linear(in_dim*num_heads, out_dim) def forward(self, x, adj): x = x.unsqueeze(1) x = x.transpose(2,0) x = torch.cat([att(x) for att in self.attentions], dim=1) alpha = F.softmax(torch.matmul(x, x.transpose(1, 2)) / self.num_heads, dim=-1) alpha = torch.where(alpha>0, alpha, torch.zeros_like(alpha)) # alpha = torch.where(adj.unsqueeze(-1).bool(), alpha, torch.zeros_like(alpha)) alpha = alpha / alpha.sum(dim=-2, keepdim=True) out = torch.matmul(alpha, x).squeeze(1) out = F.elu(self.out_att(out)) return out 这段代码中out的形状为（192，512），而self.out_att只能接受（128，512）的输入，这段代码应该怎么调整呢。我尝试在self部分增加一个线性全连接层linear（512，128），但是报错缺少必要的位置参数，我应该怎么办呢。这是pytorch版本
06-04
x = torch.cat([att(x) for att in self.attentions], dim=1) alpha = F.softmax(torch.matmul(x, x.transpose(1, 2)) / self.num_heads, dim=-1) alpha = torch.where(alpha>0, alpha, torch.zeros_like(alpha))...
x = torch.cat((x, grid), dim=-1)
05-20
这行代码使用 PyTorch 的 `cat` 函数将 `x` 和 `grid` 沿着最后一个维度进行拼接。具体来说，如果 `x` 的形状是 `(batch_size, channel_in, height, width)`，`grid` 的形状是 `(batch_size, num_points, 2)`，那么...
class GAT(nn.Module): def __init__(self, in_dim, out_dim, num_heads): super(GAT, self).__init__() self.num_heads = num_heads self.attentions = nn.ModuleList([nn.Linear(in_dim, out_dim) for _ in range(num_heads)]) # self.linear = nn.Linear(512, 128) self.out_att = nn.Linear(in_dim*num_heads, out_dim) def forward(self, x, adj): x = x.unsqueeze(1) x = x.transpose(2,0) x = torch.cat([att(x) for att in self.attentions], dim=1) alpha = F.softmax(torch.matmul(x, x.transpose(1, 2)) / self.num_heads, dim=-1) alpha = torch.where(alpha>0, alpha, torch.zeros_like(alpha)) # alpha = torch.where(adj.unsqueeze(-1).bool(), alpha, torch.zeros_like(alpha)) alpha = alpha / alpha.sum(dim=-2, keepdim=True) out = torch.matmul(alpha, x).squeeze(1) out=out.reshape(-1,128) # out = self.linear(out) out = F.elu(self.out_att(out)) return out这段代码为什么一直报错mat1 and mat2 shapes cannot be multiplied (512x768 and 512x128)，我应该怎么修改呢？它是怎么在x = torch.cat([att(x) for att in self.attentions], dim=1)这一步将输入（24，1，16）变成（512，768）的形状的，在这一步总是报错和（512，128）的全连接层不匹配，怎么修改呢。这是pytorch代码，本意是构建两层GAT用点注意力机制对形状为（16992，307，12，2）的数据集按第二列度特征相同的节点计算注意力系数和隐变量，怎么完善呢
06-05
x = torch.cat([att(x) for att in self.attentions], dim=1) x = x.view(batch_size, self.num_heads, num_nodes, -1) ``` 如果你要使用全连接层将多头注意力的输出映射到期望的输出维度，需要将out_dim*num_heads...
torch.cat()函数
hellozhxy的博客
03-06 4824
看了关于torch.cat函数的文章，有点乱，自己总结一篇，关于四维tensor合并.
torch.cat函数在二维，三维数据中拼接时候 dim维度 理解
争渡的博客
06-20 2629
当dim = 0时候，按行拼接（或者叫列合并），此时输出的结果中应当包含拼接数据的所有行当dim = 1时候，按列拼接（或者叫行合并），此时输出的结果中应当包含拼接数据的所有列。
torch.stack(), torch.cat()用法详解
热门推荐
excellent_sun的博客
07-09 1万+
torch.stack用法详解 针对二维数据dim=0,1,2dim=0dim=1dim=2针对三维数据dim=0,1,2,3dim=0或1 是一样的dim=2dim=3 针对二维数据dim=0,1,2 dim=0 dim=1 dim=2 针对三维数据dim=0,1,2,3 dim=0或1 是一样的 dim=2 dim=3 所以可以看出dim是根据数据的维度从最后一维往前取d,d-...
PyTorch基础（五）----- torch.cat()方法
奋斗の博客
03-26 2292
cat是concatnate的缩写，concatnate的含义拼接，深度学习模型中最为常见的是通道拼接。 一、普通用法 dim = 1：表示将张量A、B按照维数1进行拼接，换句话说，就是按照列进行拼接 torch.cat((A,B),dim = 1) 案例1 x = torch.randn(3, 4) y = torch.randn(3, 2) print(x, x.size()) print(y, y.size()) z = torch.cat((x, y), dim = ) print(z,
x = torch.cat((x1, x2), dim=1) dim是什么意思，决定什么变量
weixin_35750483的博客
01-24 556
在这个例子中，x = torch.cat((x1, x2), dim=1) 意思是将 x1 和 x2 按照第一维拼接起来，得到新的 tensor x。变量 dim=1 决定了拼接的维度。
pytorch中cat,dim详解实例
qq_38095787的博客
04-21 172
可以不从行列角度理解，我就看shape的形状，从前到后指定的个数就是几个轴，每个的内容就是轴上元素。比如2，3，4， 这里三个数字，就是三个轴从前到后就是dim0，1，2。轴上元素个数就是2 3 4。
torch.cat()用法详解
Vertira的博客
10-18 5063
torch.cat()用法详解
torch.cat((A,B),dim=*)解析
梦在黎明破晓时的博客
08-19 332
torch.cat((A,B),dim=*)解析
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值