pytorch教程龙曲良16-20

17维度变换4

.t 转置，但是只适合2d的矩阵，其他会报错

a.shape#[3,4] 
a.t() 
a.shape#[4,3]

transpose
加粗样式

a.shape#[4,3,32,32] BCHW
a1=a.transpose(1,3).view(4,3*32*32).view(4,3,32,32)#报错 1,3维度长度交换，变成BWHC
#第一个view把后三个维度合并变B【WHC】
#第二个view展开，但是给的维度是BCHW，可是现在是B【WHC】不符合W和C的值
#用contiguous保持连续的，因为转置后行变列数据不连续,
a1=a.transpose(1,3).contiguous().view(4,3*32*32).view(4,3,32,32)
#1,3维度长度交换，变成BWHC
#第一个view把后三个维度合并变B【WHC】
#第二个view展开，但是给的维度是BCHW，可是现在是B【WHC】不符合W和C的值，造成数据污染


a2=a.transpose(1,3).contiguous().view(4,3*32*32).view(4,32,32,3)
#1,3维度长度交换，变成BWHC
#第一个view把后三个维度合并变B【WHC】
#第二个view展开给的维度是BWHC,符合
#再把1,3维度转置交换，即恢复成BCHW和a一样


torch.all(torch.eq(a,a1))#eq判断内容是否一致，all确保所有数据内容一致，0，a和a1不一致
torch.all(torch.eq(a,a2))#1，a和a2一致

permute
因为transpose是两两交换，比如BCHW,13交换变BWHC,但是希望HW保持不变，所以再12交换变BHWC,所以需要两次transpose，permute给定index可以实现任意交换

18broadcast1

自动扩展,先在大维度上扩张，[B,C,H,W]维度大–>小，然后在维度长度为1的地方扩张

在图中③的情况中，A[3,1]先在小维度上1扩张成3横着扩张，B[1,3]在大维度上扩张1变成3竖着扩张
所以broadcast相当于是unsqueeze和expand的结合，先在维度上扩张然后在某维度的尺寸上扩张

为什么需要broadcasting
1满足实际需求： 因为希望某个向量可以和某个标量直接相加，省去自己写多个unsqueeze和expand接口的麻烦
2节省内存计算：如果使用repeat不使用expand接口会将标量[1]扩展成[4,32,8]4328=1024这样扩大内存，broadcasting可以节约内存

19 broadcasting-2

什么时候可以用broadicasting
假设[class,student,score],[4,32,8]4个班级32个学生8门课，每门成绩加5分即一个标量[1],即实现A和B两个不同维度向量的相加，用broadcasting

 A [4,32,8]
 B      [1]
 B1[1,1,1] 先从后往前扩展成一样的维度
 B2[4,32,8] 先从后往前扩展成一样的维度长度实现相加


 A   [4,32,8]
 B         [8]#一个长度为8的向量[0,0,5,0,0..]可能只要某特定一门加5分
 B1   [1,1,8] 先从后往前扩展成一样的维度
 B2  [4,32,8] 先从后往前扩展成一样的维度长度实现相加
 
 A   [4,32,8]
 B         [4]#一个长度为4的向量[0,0,5,0]可能只要某特定一门加5分，但是一共有8门课，不符合实际没意义，所以不能用broadcast

情况1只需要复制
情况2

情况3不符合broadcast，需要手动提取出B[0],B[0].shape是[32,14,14] 手动在[32,14,14] 扩展
默认从最小维度匹配
+[32,32]可能是要给图片增加base基底可能让图片平移一部分
+[3,1,1] 对RGB三个通道分别加上不同的值，弥补一部分属性
+[1,1,1,1] 相当于是[1] ，给每个像素点加一个固定的值

20合并与分割1

Merge or split
▪ Cat
▪ Stack
▪ Split#按照长度拆分
▪ Chunk#按照数量拆分

cat
torch.cat([a,b],dim=0).shape#[a,b]第一个参数是合并list，第二个参数dim=0是在哪个维度上合并

对于拼接的维度可以不同，但是非cat的维度上必须保持一致

example

stack
create new dim

两个向量进行拼接ab都是[32,8] ,表示ab两个班级32个学生的8门成绩
用cat就是[64,8]，这样丢失了2个班级的信息
用stack就是[2,32,8]创建一个新的维度，
但是stack就是必须两个tensor完全一样，cat允许在连接的dim上尺寸不一样