参考:https://blog.csdn.net/SHU15121856/article/details/87886885
Broadcasting
Broadcasting也就和之前学MPI时候学的广播一样,能够实现自动维度扩展,有点像上节学的expand
的功能,但是是自动完成的,而且不需要像repeat
那样对数据进行拷贝,可以节省内存。
- 从最后面的维度开始匹配。
- 在前面插入若干维度。
- 将维度的size从1通过expand变到和某个Tensor相同的维度。
总之,Broadcasting也就是自动实现了若干unsqueeze
和expand
操作,以使两个Tensor的shape一致,从而完成某些操作(往往是加法)。
例如 [batch,channel,height,width]=[4,3,32,32][batch,channel,height,width] = [4,3,32,32][batch,channel,height,width]=[4,3,32,32]:如果加上一个[32,32][32,32][32,32]的Tensor,意思就是不管是4张图片中的哪一张,也不管是什么通道,都加上一个32*32的Feature Map;如果加上一个[3,1,1][3,1,1][3,1,1],意思就是对3个通道分别加上一个值;如果加上一个[1,1,1,1][1,1,1,1][1,1,1,1],这和加上一个[1][1][1]一样,也就是对每个元素都加上一个相同的Bais值。
对Tensor的合并
维度合并(cat)
除合并维度的size允许不一致,要保证其它维度的size是相同的。
import torch
a = torch.rand(4, 32, 8)
b = torch.rand(5, 32, 8)
print(torch.cat([a, b], dim=0).shape)
运行结果:
torch.Size([9, 32, 8]
合并新增(stack)
stack需要保证两个Tensor的shape是一致的,这就像是有两类东西,它们的其它属性都是一样的(比如男的一张表,女的一张表)。使用stack
时候要指定一个维度位置,在那个位置前会插入一个新的维度,因为是两类东西合并过来所以这个新的维度size是2,通过指定这个维度是0或者1来选择性别是男还是女。
视频中有个例子:一个班级有32个人,每个人有8门课表示为[32,8];另一个班也是[32,8]。用stack([a,b], dim=0)输出结果为[2, 32, 8]。第一个纬度为2,说明有两个班级,每个班级都有32个人,每个人都有8门课。
c = torch.rand(4, 3, 32, 32)
d = torch.rand(4, 3, 32, 32)
print(torch.stack([c, d], dim=2).shape)
print(torch.stack([c, d], dim=0).shape)
运行结果:
torch.Size([4, 3, 2, 32, 32])
torch.Size([2, 4, 3, 32, 32])
对Tensor的拆分
按照size的长度拆分(split)
对一个Tensor而言,要拆分的那个维度的size就是"这个维度的总长度"了,可以指定拆分后的几个Tensor各取多少长度,或者指定每个Tensor取多少长度。
import torch
a = torch.rand(2, 4, 3, 32, 32)
a1, a2 = a.split(1, dim