【PyTorch学习笔记】5.Broadcasting,对Tensor的合并与拆分,Tensor运算

参考：https://blog.csdn.net/SHU15121856/article/details/87886885

Broadcasting

Broadcasting也就和之前学MPI时候学的广播一样，能够实现自动维度扩展，有点像上节学的expand的功能，但是是自动完成的，而且不需要像repeat那样对数据进行拷贝，可以节省内存。

• 从最后面的维度开始匹配。
• 在前面插入若干维度。
• 将维度的size从1通过expand变到和某个Tensor相同的维度。

总之，Broadcasting也就是自动实现了若干unsqueeze和expand操作，以使两个Tensor的shape一致，从而完成某些操作（往往是加法）。

例如 [batch,channel,height,width]=[4,3,32,32][batch,channel,height,width] = [4,3,32,32][batch,channel,height,width]=[4,3,32,32]：如果加上一个[32,32][32,32][32,32]的Tensor，意思就是不管是4张图片中的哪一张，也不管是什么通道，都加上一个32*32的Feature Map；如果加上一个[3,1,1][3,1,1][3,1,1]，意思就是对3个通道分别加上一个值；如果加上一个[1,1,1,1][1,1,1,1][1,1,1,1]，这和加上一个[1][1][1]一样，也就是对每个元素都加上一个相同的Bais值。

对Tensor的合并

维度合并(cat)

除合并维度的size允许不一致，要保证其它维度的size是相同的。

import torch

a = torch.rand(4, 32, 8)
b = torch.rand(5, 32, 8)
print(torch.cat([a, b], dim=0).shape)

运行结果：

torch.Size([9, 32, 8]

合并新增(stack)

stack需要保证两个Tensor的shape是一致的，这就像是有两类东西，它们的其它属性都是一样的（比如男的一张表，女的一张表）。使用stack时候要指定一个维度位置，在那个位置前会插入一个新的维度，因为是两类东西合并过来所以这个新的维度size是2，通过指定这个维度是0或者1来选择性别是男还是女。
视频中有个例子：一个班级有32个人，每个人有8门课表示为[32,8]；另一个班也是[32,8]。用stack([a,b], dim=0)输出结果为[2, 32, 8]。第一个纬度为2，说明有两个班级，每个班级都有32个人，每个人都有8门课。

c = torch.rand(4, 3, 32, 32)
d = torch.rand(4, 3, 32, 32)
print(torch.stack([c, d], dim=2).shape)
print(torch.stack([c, d], dim=0).shape)

运行结果：

torch.Size([4, 3, 2, 32, 32])
torch.Size([2, 4, 3, 32, 32])

对Tensor的拆分

按照size的长度拆分(split)

对一个Tensor而言，要拆分的那个维度的size就是"这个维度的总长度"了，可以指定拆分后的几个Tensor各取多少长度，或者指定每个Tensor取多少长度。

import torch

a = torch.rand(2, 4, 3, 32, 32)
a1, a2 = a.split(1, dim