Pytorch有关张量的各种操作

一，创建张量

1. 生成float格式的张量:

a = torch.tensor([1,2,3],dtype = torch.float)

2. 生成从1到10，间隔是2的张量:

b = torch.arange(1,10,step = 2)

3. 随机生成从0.0到6.28的10个张量

注意：
(1).生成的10个张量中包含0.0和6.28（两端点）
(2).生成的张量步长是随机的

c = torch.linspace(0.0,2*3.14,10)

4. zeros_like是生成与a格式相同，但是是全0且格式是float的张量

a = torch.ones((3,3),dtype = torch.int)
b = torch.zeros_like(a,dtype = torch.float)

5. 将b中为0或NULL元素替换成5

torch.fill_(b,5)

6. 均匀随机分布:torch.manual_seed(0)为CPU中设置种子，生成随机数

torch.manual_seed(0)
minval,maxval = 0,10
a = minval + (maxval-minval)*torch.rand([5])

7. 正态分布随机

均值means是一个张量，包含每个输出元素相关的正态分布的均值。
std是一个张量，包含每个输出元素相关的正态分布的标准差。
均值和标准差的形状不须匹配，但每个张量的元素个数须相同。

b = torch.normal(mean = torch.zeros(3,3), std = torch.ones(3,3))

8. 正态分布随机

mean,std = 2,5
c = std*torch.randn((3,3))+mean

9. 整数随机排列

d = torch.randperm(20) 

10. 生成特殊矩阵

I = torch.eye(3,3) #单位矩阵
t = torch.diag(torch.tensor([1,2,3])) #对角矩阵

二，索引切片

张量的索引切片方式和numpy几乎是一样的。切片时支持缺省参数和省略号。

1.切片第1行至第3行

print(t[1:4,:])

2.切片第1行至最后一行，第0列到最后一列每隔两列取一列

print(t[1:4,:4:2])

3.可以使用索引和切片修改部分元素

x = torch.tensor([[1,2],[3,4]],dtype = torch.float32,requires_grad=True)
x.data[1,:] = torch.tensor([0.0,0.0])

4.对于不规则的切片提取

可以使用torch.index_select, torch.take, torch.gather, torch.masked_select.

1. 抽取每个班级第0个学生，第5个学生，第9个学生的全部成绩

torch.index_select(scores,dim = 1,index = torch.tensor([0,5,9]))

2. 抽取每个班级第0个学生，第5个学生，第9个学生的第1门课程，第3门课程，第6门课程成绩

q = torch.index_select(torch.index_select(scores,dim = 1,index = torch.tensor([0,5,9]))
                   ,dim=2,index = torch.tensor([1,3,6]))

3. 抽取第0个班级第0个学生的第0门课程，第2个班级的第4个学生的第1门课程，第3个班级的第9个学生第6门课程成绩
   take将输入看成一维数组，输出和index同形状

s = torch.take(scores,torch.tensor([0*10*7+0,2*10*7+4*7+1,3*10*7+9*7+6]))   #感觉跟数组序列号一样

4. 抽取分数大于等于80分的分数（布尔索引），结果是1维张量

g = torch.masked_select(scores,scores>=80)

5.通过修改张量的部分元素值得到新的张量

torch.where可以理解为if的张量版本。
torch.index_fill的选取元素逻辑和torch.index_select相同。
torch.masked_fill的选取元素逻辑和torch.masked_select相同。

1. 如果分数大于60分，赋值成1，否则赋值成0

ifpass = torch.where(scores>60,torch.tensor(1),torch.tensor(0))

2. 将每个班级第0个学生，第5个学生，第9个学生的全部成绩赋值成满分

torch.index_fill(scores,dim = 1,index = torch.tensor([0,5,9]),value = 100)
#等价于 scores.index_fill(dim = 1,index = torch.tensor([0,5,9]),value = 100)

3. 将分数小于60分的分数赋值成60分

b = torch.masked_fill(scores,scores<60,60)
#等价于b = scores.masked_fill(scores<60,60)

三，维度变换相关函数

维度变换相关函数主要有 torch.reshape(或者调用张量的view方法),torch.squeeze,torch.unsqueeze, torch.transpose
torch.reshape 可以改变张量的形状。
torch.squeeze 可以减少维度。
torch.unsqueeze 可以增加维度。
torch.transpose 可以交换维度。

1. 改成 （3,6）形状的张量

b = a.view([3,6]) #torch.reshape(a,[3,6])

2. 改回成 [1,3,3,2] 形状的张量

c = torch.reshape(b,[1,3,3,2]) # b.view([1,3,3,2])

3. torch.squeeze消除维度。

如果张量在某个维度上只有一个元素，利用torch.squeeze可以消除这个维度。

s = torch.squeeze(a)

4. torch.unsqueeze

torch.unsqueeze的作用和torch.squeeze的作用相反，增加维度。

#在第0维插入长度为1的一个维度
d = torch.unsqueeze(s,axis=0)

5.转换成 Pytorch默认的图片格式

torch.transpose可以交换张量的维度，torch.transpose常用于图片存储格式的变换上。
如果是二维的矩阵，通常会调用矩阵的转置方法 matrix.t()，等价于 torch.transpose(matrix,0,1)。

# 转换成 Pytorch默认的图片格式 Batch,Channel,Height,Width
# 需要交换两次
data_t = torch.transpose(torch.transpose(data,1,2),1,3)

print(matrix.t()) #等价于torch.transpose(matrix,0,1)

四，合并分割

可以用torch.cat方法和torch.stack方法将多个张量合并，可以用torch.split方法把一个张量分割成多个张量。

1.torch.cat和torch.stack

torch.cat和torch.stack有略微的区别，torch.cat是连接，不会增加维度，而torch.stack是堆叠，会增加维度。

abc_cat = torch.cat([a,b,c],dim = 0)
abc_stack = torch.stack([a,b,c],axis = 0)
#torch中dim和axis参数名可以混用,=0时是按照行连接，=1列连接
torch.cat([a,b,c],axis = 1)

2.torch.split

torch.split是torch.cat的逆运算，可以指定分割份数平均分割，也可以通过指定每份的记录数量进行分割。

a,b,c = torch.split(abc_cat,split_size_or_sections = 2,dim = 0) #每份2个进行分割
p,q,r = torch.split(abc_cat,split_size_or_sections =[4,1,1],dim = 0) #每份分别为[4,1,1]

五，张量数学计算

1.取整

print(torch.round(x)) #保留整数部分，四舍五入
print(torch.floor(x)) #保留整数部分，向下归整
print(torch.ceil(x))  #保留整数部分，向上归整
print(torch.trunc(x)) #保留整数部分，向0归整

2.除法余数

print(torch.fmod(x,2)) #作除法取余数
print(torch.remainder(x,2)) #作除法取剩余的部分，结果恒正

3.幅值裁剪

x = torch.tensor([0.9,-0.8,100.0,-20.0,0.7])
y = torch.clamp(x,min=-1,max = 1)
z = torch.clamp(x,max = 1)

4.累乘，标准差，方差，中位数

print(torch.prod(a)) #累乘
print(torch.std(a))  #标准差
print(torch.var(a))  #方差
print(torch.median(a)) #中位数

5.张量排序

torch.sort和torch.topk可以对张量排序

print(torch.topk(a,2,dim = 1),"\n") #沿给定dim维度返回输入张量input中 k 个最大值。
print(torch.sort(a,dim = 1),"\n")

六，矩阵运算

1.矩阵乘法

print(a@b)  #等价于torch.matmul(a,b) 或 torch.mm(a,b)

2.矩阵转置

print(a.t())

3.矩阵逆，必须为浮点类型

print(torch.inverse(a))

4.矩阵求trace

print(torch.trace(a))

5.矩阵求范数

print(torch.norm(a))

6.矩阵行列式

print(torch.det(a))

7.矩阵特征值和特征向量

print(torch.eig(a,eigenvectors=True))

8.矩阵QR分解

矩阵QR分解, 将一个方阵分解为一个正交矩阵q和上三角矩阵r
QR分解实际上是对矩阵a实施Schmidt正交化得到q

q,r = torch.qr(a)
print(q@r)#还原a

9.矩阵svd分解

svd分解可以将任意一个矩阵分解为一个正交矩阵u,一个对角阵s和一个正交矩阵v.t()的乘积
svd常用于矩阵压缩和降维

u,s,v = torch.svd(a)
print(u@torch.diag(s)@v.t())    #还原a

七，广播机制

torch.broadcast_tensors

torch.broadcast_tensors可以将多个张量根据广播规则转换成相同的维度。

a_broad,b_broad = torch.broadcast_tensors(a,b)  #转换成相同的维度