Pytorch源码学习01

什么是 PyTorch?

PyTorch 是基于以下两个目的而打造的python科学计算框架:
(1)无缝替换NumPy,并且通过利用GPU的算力来实现神经网络的加速
(2)通过自动微分机制,来让神经网络的实现变得更加容易。

张量

张量如同数组和矩阵一样, 是一种特殊的数据结构。在PyTorch中, 神经网络的输入、输出以及网络的参数等数据, 都是使用张量来进行描述。

import torch
import numpy as np

张量初始化

1. 直接生成张量

由原始数据直接生成张量, 张量类型由原始数据类型决定。

data = [[1, 2], [3, 4]]
x_data = torch.tensor(data)

2. 通过Numpy数组来生成张量

由已有的Numpy数组来生成张量(反过来也可以由张量来生成Numpy数组)

np_array = np.array(data)
x_np = torch.from_numpy(np_array)

3. 通过已有的张量来生成新的张量

新的张量将继承已有张量的数据属性(结构、类型), 也可以重新指定新的数据类型

x_ones = torch.ones_like(x_data)   # 保留 x_data 的属性
x_rand = torch.rand_like(x_data, dtype=torch.float)   # 重写 x_data 的数据类型   int -> float

4. 通过指定数据维度来生成张量

shape是元组类型, 用来描述张量的维数, 下面3个函数通过传入shape来指定生成张量的维数

shape = (2,3,)
rand_tensor = torch.rand(shape)
ones_tensor = torch.ones(shape)
zeros_tensor = torch.zeros(shape)

张量属性

从张量属性我们可以得到张量的维数数据类型以及它们所存储的设备(CPU或GPU)

tensor = torch.rand(3,4)
print(f"Shape of tensor: {tensor.shape}")  # 维数
print(f"Datatype of tensor: {tensor.dtype}")  # 数据类型
print(f"Device tensor is stored on: {tensor.device}") # 存储设备

张量运算

将运算在GPU上运行

# 判断当前环境GPU是否可用, 然后将tensor导入GPU内运行
if torch.cuda.is_available():
  tensor = tensor.to('cuda')

1. 张量的索引和切片

tensor = torch.ones(4, 4)
tensor[:,1] = 0            # 将第1列(从0开始)的数据全部赋值为0

2. 张量的拼接

通过torch.cat方法将一组张量按照指定的维度进行拼接, 也可以参考torch.stack方法。这个方法也可以实现拼接操作, 但和torch.cat稍微有点不同

t1 = torch.cat([tensor, tensor, tensor], dim=1)

3. 张量的乘积和矩阵乘法(逐个元素相乘结果

# 逐个元素相乘结果
print(f"tensor.mul(tensor): \n {tensor.mul(tensor)} \n")
# 等价写法:
print(f"tensor * tensor: \n {tensor * tensor}")

4.张量与张量的矩阵乘法(矩阵运算

print(f"tensor.matmul(tensor.T): \n {tensor.matmul(tensor.T)} \n")
# 等价写法:
print(f"tensor @ tensor.T: \n {tensor @ tensor.T}")

5. 自动赋值运算

自动赋值运算通常在方法后有 _ 作为后缀, 例如:x.copy_(y), x.t_()操作会改变 x 的取值

tensor.add_(5)

Tensor与Numpy的转化

张量和Numpy array数组在CPU上可以共用一块内存区域, 改变其中一个另一个也会随之改变

1. 由张量变换为Numpy array数组

t = torch.ones(5)
print(f"t: {t}")
n = t.numpy()
print(f"n: {n}")
# 结果
t: tensor([1., 1., 1., 1., 1.])
n: [1. 1. 1. 1. 1.]

2.修改张量的值,则Numpy array数组值也会随之改变。

t.add_(1)
print(f"t: {t}")
print(f"n: {n}")
# 结果
t: tensor([2., 2., 2., 2., 2.])
n: [2. 2. 2. 2. 2.]

3.由Numpy array数组转为张量

n = np.ones(5)
t = torch.from_numpy(n)

引用

PyTorch 中文教程 & 文档.

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PyTorch是一个流行的深度学习框架,其源码主要由Python语言编写。通过对PyTorch源码进行分析,可以了解其内部实现机制和算法原理,有助于深入理解和掌握PyTorch的特性和性能。 PyTorch源码主要由以下几个部分组成: 1. 核心模块:PyTorch的核心模块包括神经网络模型、优化器、数据加载器等。这些模块负责实现PyTorch的核心功能,如前向传播、反向传播、梯度计算等。 2. 底层实现:PyTorch的底层实现包括数据类型、内存管理、设备管理等。这些实现细节直接影响PyTorch的性能和稳定性。 3. 扩展模块:PyTorch提供了许多扩展模块,如文本处理、图像处理、强化学习等。这些模块扩展了PyTorch的功能,方便用户进行各种类型的数据分析和处理。 在对PyTorch源码进行分析时,可以从以下几个方面入手: 1. 模块结构:了解PyTorch的模块结构,分析各个模块的功能和相互关系。 2. 数据类型和内存管理:分析PyTorch的数据类型和内存管理机制,了解如何高效地处理数据和计算。 3. 算法实现:分析PyTorch中常用的算法实现,如反向传播、优化器等,了解其原理和实现方式。 4. 性能优化:分析PyTorch的性能优化策略,如动态计算图、分布式训练等,了解如何提高PyTorch的性能和稳定性。 需要注意的是,PyTorch源码较为庞大和复杂,需要具备一定的编程经验和深度学习基础知识才能较好地进行分析。同时,分析PyTorch源码需要耐心和细心,需要不断尝试和调试,才能更好地理解其内部实现机制。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值