pytorch学习(一)----基本函数

张量的拼接和分割

  • torch.stack

通过传入张量列表和创建的维度,会把列表中的张量沿着指定的维度进行堆砌,列表中的张量大小 必须相同

a = torch.randn(3,4)
b = torch.randn(3,4)

torch.stack([a,b],-1)

在这里插入图片描述

  • torch.cat

列表中的张量沿着指定的维度进行堆砌,除了指定堆砌的维度参数可以不同外,其他维度参数必须相同

a = torch.randn(3,4)
b = torch.randn(3,5)

torch.cat([a,b],1).shape

在这里插入图片描述

  • torch.split

用于分割张量,第一个参数为张量,第二个参数为分割的大小,可以是整数,也可以是列表,第三个是分割的维度,从哪个维度进行分割

a = torch.randn(2,3,6)
for i in torch.split(a,[1,2,3],-1):
    print(i.shape)

在这里插入图片描述

a = torch.randn(2,3,6)
for i in torch.split(a,3,-1):
    print(i.shape)

在这里插入图片描述

  • torch.chunk
    和torch.split的功能类似,参数也差不多,唯一区别是第二个参数为整数,表示分割的数量
a = torch.randn(2,3,6)
for i in torch.chunk(a,2,-1):
    print(i.shape)

在这里插入图片描述
torch.unsqueeze
该函数用于扩增张量维度,在指定的维度增加一个维度,维度参数为1

a = torch.randn(3,4)
a.unsqueeze(-1).shape

在这里插入图片描述
torch.squeeze
该函数用于压缩维度,凡是维度为1的都会被压缩掉

a = torch.randn(3,4,1,1)
print(a.shape)
a.squeeze().shape

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MindSpore是一种适用于端边云场景的新型开源深度学习训练/推理框架。 MindSpore提供了友好的设计和高效的执行,旨在提升数据科学家和算法工程师的开发体验,并为Ascend AI处理器提供原生支持,以及软硬件协同优化。 同时,MindSpore作为全球AI开源社区,致力于进一步开发和丰富AI软硬件应用生态。 MindSpore特点: 自动微分 当前主流深度学习框架中有三种自动微分技术: 基于静态计算图的转换:编译时将网络转换为静态数据流图,将链式法则应用于数据流图,实现自动微分。 基于动态计算图的转换:记录算子过载正向执行时网络的运行轨迹,对动态生成的数据流图应用链式法则,实现自动微分。 基于源码的转换:该技术是从功能编程框架演进而来,以即时编译(Just-in-time Compilation,JIT)的形式对中间表达式(程序在编译过程中的表达式)进行自动差分转换,支持复杂的控制流场景、高阶函数和闭包。 TensorFlow早期采用的是静态计算图,PyTorch采用的是动态计算图。静态映射可以利用静态编译技术来优化网络性能,但是构建网络或调试网络非常复杂。动态图的使用非常方便,但很难实现性能的极限优化。 MindSpore找到了另一种方法,即基于源代码转换的自动微分。一方面,它支持自动控制流的自动微分,因此像PyTorch这样的模型构建非常方便。另一方面,MindSpore可以对神经网络进行静态编译优化,以获得更好的性能。 MindSpore自动微分的实现可以理解为程序本身的符号微分。MindSpore IR是一个函数中间表达式,它与基础代数中的复合函数具有直观的对应关系。复合函数的公式由任意可推导的基础函数组成。MindSpore IR中的每个原语操作都可以对应基础代数中的基本功能,从而可以建立更复杂的流控制。 自动并行 MindSpore自动并行的目的是构建数据并行、模型并行和混合并行相结合的训练方法。该方法能够自动选择开销最小的模型切分策略,实现自动分布并行训练。 目前MindSpore采用的是算子切分的细粒度并行策略,即图中的每个算子被切分为一个集群,完成并行操作。在此期间的切分策略可能非常复杂,但是作为一名Python开发者,您无需关注底层实现,只要顶层API计算是有效的即可。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值