一,创建张量
1. 生成float格式的张量:
a = torch.tensor([1,2,3],dtype = torch.float)
2. 生成从1到10,间隔是2的张量:
b = torch.arange(1,10,step = 2)
3. 随机生成从0.0到6.28的10个张量
注意:
(1).生成的10个张量中包含0.0和6.28(两端点)
(2).生成的张量步长是随机的
c = torch.linspace(0.0,2*3.14,10)
4. zeros_like是生成与a格式相同,但是是全0且格式是float的张量
a = torch.ones((3,3),dtype = torch.int)
b = torch.zeros_like(a,dtype = torch.float)
5. 将b中为0或NULL元素替换成5
torch.fill_(b,5)
6. 均匀随机分布:torch.manual_seed(0)为CPU中设置种子,生成随机数
torch.manual_seed(0)
minval,maxval = 0,10
a = minval + (maxval-minval)*torch.rand([5])
7. 正态分布随机
均值means是一个张量,包含每个输出元素相关的正态分布的均值。
std是一个张量,包含每个输出元素相关的正态分布的标准差。
均值和标准差的形状不须匹配,但每个张量的元素个数须相同。
b = torch.normal(mean = torch.zeros(3,3), std = torch.ones(3,3))
8. 正态分布随机
mean,std = 2,5
c = std*torch.randn((3,3))+mean
9. 整数随机排列
d = torch.randperm(20)
10. 生成特殊矩阵
I = torch.eye(3,3) #单位矩阵
t = torch.diag(torch.tensor([1,2,3])) #对角矩阵
二,索引切片
张量的索引切片方式和numpy几乎是一样的。切片时支持缺省参数和省略号。
1.切片第1行至第3行
print(t[1:4,:])
2.切片第1行至最后一行,第0列到最后一列每隔两列取一列
print(t[1:4,:4:2])
3.可以使用索引和切片修改部分元素
x = torch.tensor([[1,2],[3,4]],dtype = torch.float32,requires_grad=True)
x.data[1,:] = torch.tensor([0.0,0.0])
4.对于不规则的切片提取
可以使用torch.index_select, torch.take, torch.gather, torch.masked_select.
- 抽取每个班级第0个学生,第5个学生,第9个学生的全部成绩
torch.index_select(scores,dim = 1,index = torch.tensor([0,5,9]))
- 抽取每个班级第0个学生,第5个学生,第9个学生的第1门课程,第3门课程,第6门课程成绩
q = torch.index_select(torch.index_select(scores,dim = 1,index = torch.tensor([0,5,9]))
,dim=2,index = torch.tensor([1,3,6]))
- 抽取第0个班级第0个学生的第0门课程,第2个班级的第4个学生的第1门课程,第3个班级的第9个学生第6门课程成绩
take将输入看成一维数组,输出和index同形状
s = torch.take(scores,torch.tensor([0*10*7+0,2*10*7+4*7+1,3*10*7+9*7+6])) #感觉跟数组序列号一样
- 抽取分数大于等于80分的分数(布尔索引),结果是1维张量
g = torch.masked_select(scores,scores>=80)
5.通过修改张量的部分元素值得到新的张量
torch.where可以理解为if的张量版本。
torch.index_fill的选取元素逻辑和torch.index_select相同。
torch.masked_fill的选取元素逻辑和torch.masked_select相同。
- 如果分数大于60分,赋值成1,否则赋值成0
ifpass = torch.where(scores>60,torch.tensor(1),torch.tensor(0))
- 将每个班级第0个学生,第5个学生,第9个学生的全部成绩赋值成满分
torch.index_fill(scores,dim = 1,index = torch.tensor([0,5,9]),value = 100)
#等价于 scores.index_fill(dim = 1,index = torch.tensor([0,5,9]),value = 100)
- 将分数小于60分的分数赋值成60分
b = torch.masked_fill(scores,scores<60,60)
#等价于b = scores.masked_fill(scores<60,60)
三,维度变换相关函数
维度变换相关函数主要有 torch.reshape(或者调用张量的view方法),torch.squeeze,torch.unsqueeze, torch.transpose
torch.reshape 可以改变张量的形状。
torch.squeeze 可以减少维度。
torch.unsqueeze 可以增加维度。
torch.transpose 可以交换维度。
1. 改成 (3,6)形状的张量
b = a.view([3,6]) #torch.reshape(a,[3,6])
2. 改回成 [1,3,3,2] 形状的张量
c = torch.reshape(b,[1,3,3,2]) # b.view([1,3,3,2])
3. torch.squeeze消除维度。
如果张量在某个维度上只有一个元素,利用torch.squeeze可以消除这个维度。
s = torch.squeeze(a)
4. torch.unsqueeze
torch.unsqueeze的作用和torch.squeeze的作用相反,增加维度。
#在第0维插入长度为1的一个维度
d = torch.unsqueeze(s,axis=0)
5.转换成 Pytorch默认的图片格式
torch.transpose可以交换张量的维度,torch.transpose常用于图片存储格式的变换上。
如果是二维的矩阵,通常会调用矩阵的转置方法 matrix.t(),等价于 torch.transpose(matrix,0,1)。
# 转换成 Pytorch默认的图片格式 Batch,Channel,Height,Width
# 需要交换两次
data_t = torch.transpose(torch.transpose(data,1,2),1,3)
print(matrix.t()) #等价于torch.transpose(matrix,0,1)
四,合并分割
可以用torch.cat方法和torch.stack方法将多个张量合并,可以用torch.split方法把一个张量分割成多个张量。
1.torch.cat和torch.stack
torch.cat和torch.stack有略微的区别,torch.cat是连接,不会增加维度,而torch.stack是堆叠,会增加维度。
abc_cat = torch.cat([a,b,c],dim = 0)
abc_stack = torch.stack([a,b,c],axis = 0)
#torch中dim和axis参数名可以混用,=0时是按照行连接,=1列连接
torch.cat([a,b,c],axis = 1)
2.torch.split
torch.split是torch.cat的逆运算,可以指定分割份数平均分割,也可以通过指定每份的记录数量进行分割。
a,b,c = torch.split(abc_cat,split_size_or_sections = 2,dim = 0) #每份2个进行分割
p,q,r = torch.split(abc_cat,split_size_or_sections =[4,1,1],dim = 0) #每份分别为[4,1,1]
五,张量数学计算
1.取整
print(torch.round(x)) #保留整数部分,四舍五入
print(torch.floor(x)) #保留整数部分,向下归整
print(torch.ceil(x)) #保留整数部分,向上归整
print(torch.trunc(x)) #保留整数部分,向0归整
2.除法余数
print(torch.fmod(x,2)) #作除法取余数
print(torch.remainder(x,2)) #作除法取剩余的部分,结果恒正
3.幅值裁剪
x = torch.tensor([0.9,-0.8,100.0,-20.0,0.7])
y = torch.clamp(x,min=-1,max = 1)
z = torch.clamp(x,max = 1)
4.累乘,标准差,方差,中位数
print(torch.prod(a)) #累乘
print(torch.std(a)) #标准差
print(torch.var(a)) #方差
print(torch.median(a)) #中位数
5.张量排序
torch.sort和torch.topk可以对张量排序
print(torch.topk(a,2,dim = 1),"\n") #沿给定dim维度返回输入张量input中 k 个最大值。
print(torch.sort(a,dim = 1),"\n")
六,矩阵运算
1.矩阵乘法
print(a@b) #等价于torch.matmul(a,b) 或 torch.mm(a,b)
2.矩阵转置
print(a.t())
3.矩阵逆,必须为浮点类型
print(torch.inverse(a))
4.矩阵求trace
print(torch.trace(a))
5.矩阵求范数
print(torch.norm(a))
6.矩阵行列式
print(torch.det(a))
7.矩阵特征值和特征向量
print(torch.eig(a,eigenvectors=True))
8.矩阵QR分解
矩阵QR分解, 将一个方阵分解为一个正交矩阵q和上三角矩阵r
QR分解实际上是对矩阵a实施Schmidt正交化得到q
q,r = torch.qr(a)
print(q@r)#还原a
9.矩阵svd分解
svd分解可以将任意一个矩阵分解为一个正交矩阵u,一个对角阵s和一个正交矩阵v.t()的乘积
svd常用于矩阵压缩和降维
u,s,v = torch.svd(a)
print(u@torch.diag(s)@v.t()) #还原a
七,广播机制
torch.broadcast_tensors
torch.broadcast_tensors可以将多个张量根据广播规则转换成相同的维度。
a_broad,b_broad = torch.broadcast_tensors(a,b) #转换成相同的维度