pytorch基础教程

最新推荐文章于 2024-06-10 15:30:17 发布
最新推荐文章于 2024-06-10 15:30:17 发布
阅读量210 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weiwen6933/article/details/104299176
版权

基础部分

基本数据类型

Data type

在这里插入图片描述
在这里插入图片描述常用的有torch.FloatTensor, torch.DoubleTensor, torch.IntTensor, torch.ByteTensor, torch.LongTensor。

如何标注string呢？
在pytorch中使用One-hot（独热编码）来表示string，[0.1.0.0…]，比如：

[1 0]：猫
[0 1]：狗

但是词与词之间的相关性并没有在one-hot中显现。所以进一步要（Embedding）用编码的方法表达语言：比如使用word2vec和glove等。

import torch
a = torch.randn(2,3) #随机初始化一个两行三列的符合正态分布的矩阵
a.type()
#'torch.FloatTensor'
isinstance(a,torch.FloatTensor)
#True

维度dim

标量:Dimension 0
Loss就是典型dimension为零的标量

torch.tensor(1.3)
# 1.3是零维，但[1.3]是一维，长度为1的Tensor
a =torch.tensor(2.2)
a.shape,a.size(),a.dim()
# torch.Size([])

Dimension 1
Bias就是dimension为1的tensor
linear input就是dimension为1的tensor

torch.tensor([1.1,2.2]).shape
# torch.Size([2]) 一维
torch.FloatTensor(2) # dim=1 size=2
# tensor([4.2981e+21, 6.3828e+28])

Dimension 2
linear input batch就是dimension为2的tensor，比如：
每张图片像素 28*28 ,拉平–>[784]
n张照片
[n,784]

#.FloatTensor接受的是数据的shape
a = torch.FloatTensor(2,2)
'''
tensor([[2.0000e+00, 2.0000e+00],
        [6.0020e-28, 1.0842e-19]])
'''
a = torch.randn(2,3)
a.shape
# torch.Size([2, 3])
a.size(0)
# 2
a.size(1)
# 3
a.shape[0]
# 2

Dimension 3
RNN input Batch就是dimension为3的tensor，比如：
20句sentences，每个sentence中有10个单词，每个单词用one-hot编码，100维向量。
[10,20,100]

a = torch.rand(1,2,3) #随机均匀分布 
'''
tensor([[[0.3725, 0.7952, 0.4332],
         [0.2388, 0.7563, 0.8000]]])
'''
a.shape
# torch.Size([1, 2, 3])
a[0] #输出是二维
'''
tensor([[0.3725, 0.7952, 0.4332],
        [0.2388, 0.7563, 0.8000]])
'''
a[0,0]  #输出是一维
# tensor([0.3725, 0.7952, 0.4332])
a[0,0,0]  #输出是零维
# tensor(0.3725)

Dimension 4
CNN就是dimension为4的tensor
[b,c,h,w]
batch，channel，height，weight

a = torch.rand(2,1,28,28) #2 张图片 1灰度通道（3：RGB通道） h：28 * w:28

numel：是指tensor占用内存的数量 number of elements

a.numel()
# 1568
a.dim()
# 4

创建Tensor

  • import from numpy
# 从numpy引入
import numpy as np
data = np.ones(2)
torch.from_numpy(data)
# tensor([1., 1.], dtype=torch.float64)
  • import from list
torch.tensor([2,3.2])
# tensor([2.0000, 3.2000])
  • 生成数据

生成未初始化的数据

torch.empty(2,3)
'''
tensor([[0.0000e+00, 2.0000e+00, 1.8754e+28],
        [4.0611e-08, 0.0000e+00, 0.0000e+00]])
'''
torch.FloatTensor(2,3) #推荐使用
'''
tensor([[1.1210e-44, 0.0000e+00, 0.0000e+00],
        [0.0000e+00, 0.0000e+00, 0.0000e+00]])
'''
#未初始化的tensor一定要跟写入数据的后续步骤，因为未初始化的数据很随机,会对数据分析产生误差

随机初始化：rand/rand_like,randint,randn

# rand会随机产生0-1之间的数值，不包括1 [min,max)
a = torch.rand(3,3)
'''
tensor([[0.5007, 0.2791, 0.4723],
        [0.9040, 0.7485, 0.9240],
        [0.4613, 0.3655, 0.4356]])
'''
#torch.rand_like(a),继承a的shape
torch.rand_like(a)
'''
tensor([[0.9106, 0.1066, 0.4969],
        [0.7428, 0.6734, 0.8423],
        [0.6036, 0.9512, 0.8968]])
'''
#((start,end),shape)
torch.randint(1,10,(2,3))
'''
tensor([[2, 4, 7],
        [6, 7, 2]])
'''
#randint只能采整数，如果采0-10之间的tensor
torch.rand_like(a)*10 #0-100之间，*100
'''
tensor([[5.5882, 2.2705, 9.5224],
        [2.7068, 3.5601, 8.8855],
        [7.1446, 2.3037, 0.1559]])
'''
# randn 随机正态分布，推荐使用
torch.randn(3,3)
'''
tensor([[ 0.4730,  1.0773,  1.0708],
        [-0.0661, -0.7352,  0.9882],
        [ 0.5452, -1.3483, -0.5176]])
'''
# 指定分布，不常用
# 均值都为0，标准差1，0.9,..0.1
torch.normal(mean = torch.full([10],0),std = torch.arange(1,0,-0.1))

linspace logspace

torch.linspace(0,10,steps=4) #[0,10] n为4的等差数列
# tensor([ 0.0000,  3.3333,  6.6667, 10.0000])
torch.linspace(0,10,steps=11)
# tensor([ 0.,  1.,  2.,  3.,  4.,  5.,  6.,  7.,  8.,  9., 10.])
torch.logspace(0,-1,steps =10)
# tensor([1.0000, 0.7743, 0.5995, 0.4642, 0.3594, 0.2783, 0.2154, 0.1668, 0.1292,0.1000])
# logspace的base参数可以设置为2，10，e等底数
torch.logspace(0,-1,steps =10,base =2)
# tensor([1.0000, 0.9259, 0.8572, 0.7937, 0.7349, 0.6804, 0.6300, 0.5833, 0.5400, 0.5000])

ones/zeros/eye

#ones/zeros/eye
torch.ones(3,3)
torch.eye(3,3)
torch.zeros(3,3)

randperm:random.shuffle

torch.randperm(10)
# tensor([3, 4, 8, 2, 5, 0, 9, 6, 7, 1])

在这里插入代码片a = torch.rand(2,3)
'''
tensor([[0.3221, 0.1189, 0.6717],
        [0.5141, 0.1630, 0.4550]])
'''
b = torch.rand(2,2)
'''
tensor([[0.8794, 0.7519],
        [0.4448, 0.9401]])
'''
idx = torch.randperm(2)
idx
# tensor([1, 0])
a[idx] # 第二行和第一行交换位置
'''
tensor([[0.5141, 0.1630, 0.4550],
        [0.3221, 0.1189, 0.6717]])
'''
b[idx]
'''
tensor([[0.4448, 0.9401],
        [0.8794, 0.7519]])
'''

set default type

torch.tensor([1.2,2]).type()
# 'torch.DoubleTensor'
torch.set_default_tensor_type(torch.FloatTensor)
torch.tensor([1.2,2]).type()
# 'torch.FloatTensor'
# 增强学习一般使用double，其他一般使用float

索引和切片

indexing

import torch
a = torch.rand(4,3,28,28)
a[0].shape
# torch.Size([3, 28, 28])
a[0,0].shape
# torch.Size([28, 28])
a[0,0,2,4]
# tensor(0.7394)

select first/last N

在这里插入代码片a.shape
# torch.Size([4, 3, 28, 28])
a[:2].shape
# torch.Size([2, 3, 28, 28])
a[:2,:1,:,:].shape
# torch.Size([2, 1, 28, 28])
a[:2,1:,:,:].shape
# torch.Size([2, 2, 28, 28])
a[:2,-1:,:,:].shape
# torch.Size([2, 1, 28, 28])

select by steps
start：end：step

a[:,:,0:28:2,0:28:2].shape
# torch.Size([4, 3, 14, 14])
# 0：28 相当于 0：28：1
a[:,:,::2,::2].shape
torch.Size([4, 3, 14, 14])

select by specific index

a.shape
# torch.Size([4, 3, 28, 28])
# 第0个维度，第0张图片和第2张图片
a.index_select(0,torch.tensor([0,2])).shape 
# torch.Size([2, 3, 28, 28])
a.index_select(1,torch.tensor([1,2])).shape
# torch.Size([4, 2, 28, 28])
a.index_select(2,torch.arange(8)).shape
# torch.Size([4, 3, 8, 28])

… --> 任意多的维度

a[...].shape #任意多的维度
# torch.Size([4, 3, 28, 28])
a[3,...].shape
# torch.Size([3, 28, 28])
a[:,1,...].shape
# torch.Size([4, 28, 28]) 
a[...,:2].shape
# torch.Size([4, 3, 28, 2])

select by mask

x = torch.randn(3,4)
mask = x.ge(0.5)# >0.5=True,<0.5=False
torch.masked_select(x,mask)
# tensor([0.8901, 2.3088, 2.3641, 1.1609, 1.1885])

select by flatten index

# take先将所有的tensor打平，再索引
src = torch.tensor([[4,3,5],[6,7,8]])
torch.take(src,torch.tensor([0,2,5]))
# tensor([4, 5, 8])

Tensor维度变换

view/reshape

a = torch.rand(4,1,28,28)
#保证numel一致即可
a.view(4,1*28*28).shape #适合全连接层
# torch.Size([4, 784])
a.view(4*1*28,28).shape 
# torch.Size([112, 28])
a.view(4*1,28,28).shape 
# torch.Size([4, 28, 28])

# 数据存储/维度顺序非常重要
b = a.view(4,784) 
b.view(4,28,28,1) # Logic bug,会造成数据污染

squeeze/unsqueeze
unsqueeze 增维

a.shape
# torch.Size([4, 1, 28, 28])
#(0) 4 (1) 1 (2) 28 (3) 28 (4/-1)
a.unsqueeze(0).shape # 0位置insert dim 1
# torch.Size([1, 4, 1, 28, 28])
a.unsqueeze(-1).shape # -1位置insert dim 1
# torch.Size([4, 1, 28, 28, 1])
a.unsqueeze(4).shape
# torch.Size([4, 1, 28, 28, 1])

a = torch.tensor([1.2,1.6]) 
a.shape
# torch.Size([2])
a.unsqueeze(-1).shape
# torch.Size([2, 1])
a.unsqueeze(-1)
'''
tensor([[1.2000],
        [1.6000]])

'''
a.unsqueeze(0)
# tensor([[1.2000, 1.6000]])

#图片处理
import torch
b = torch.rand(32) # bias
f = torch.rand(4,32,14,14) 
#给每个channel上的所有像素增加一个偏置bias，size保持一致
#将f叠加在b上面，将b变为四维
b = b.unsqueeze(0).unsqueeze(2).unsqueeze(3)
b.shape
#torch.Size([1, 32, 1, 1])
#再扩张成[4,32,14,14]就可以叠加了

squeeze减维

#只能挤压size为1的维度
b.shape
# torch.Size([1, 32, 1, 1])
b.squeeze().shape #能挤压的全部挤压
# torch.Size([32])
b.squeeze(0).shape,b.squeeze(-4).shape
# torch.Size([32, 1, 1])
b.squeeze(-1).shape
# torch.Size([1, 32, 1])
b.squeeze(1).shape 
#挤压第1维度，size是32，不是1，不能挤压，维持不变
# torch.Size([1, 32, 1, 1])

Expand:更节省内存/repeat:浪费内存

b.shape
# torch.Size([1, 32, 1, 1])
a = torch.rand(4,32,14,14)
#只有1可以expand到4或14，其他不可以
b.expand(4,32,14,14).shape 
# torch.Size([4, 32, 14, 14])

#-1表示保持不变
b.expand(-1,32,-1,-1).shape
# torch.Size([1, 32, 1, 1])

#repeat参数是拷贝次数
b.repeat(4,1,14,14).shape 
# torch.Size([4, 32, 14, 14])

transpose/.t/permute
转置操作.t:只适用于2维

a = torch.randn(3,4)#只适用于2维
a.t()
'''
tensor([[ 0.4086,  0.6512,  0.3118],
        [-1.3944, -0.1756, -2.9389],
        [-1.1064,  1.3543, -1.1606],
        [ 1.9239, -0.8880,  0.9098]])
'''

交换维度：transpose()

a = torch.randn(4,3,28,28)
# dim1和dim3交换，原来的存储顺序改变，变成了不连续的数据
a1 = a.transpose(1,3) 
a1.shape
# torch.Size([4, 28, 28, 3])

#维度交换后先将数据转化为连续
a1 = a.transpose(1,3).contiguous().view(4,3*28*28).view(4,3,28,28)
a1.shape
# torch.Size([4, 3, 28, 28])
# b c h w--> b w h c ！--> b c h w 此次还原的顺序是错误的,数据污染。

torch.all(torch.eq(a,a1))
# tensor(False)
# a 和 a1不同

a2 = a.transpose(1,3).contiguous().view(4,3*28*28).view(4,28,28,3).transpose(1,3)
#b c h w-->b w h c-->b w h c--> b c h w
a2.shape
# torch.Size([4, 3, 28, 28])
torch.all(torch.eq(a,a2))
# tensor(True)
#a 和 a2 相同

# 维度顺序一定要人为跟踪

permute：多维转置

b = torch.rand(4,3,28,32)
b.transpose(1,3).transpose(1,2).shape
# torch.Size([4, 28, 32, 3])
b.permute(0,2,3,1).shape
# torch.Size([4, 28, 32, 3])
weiwen6933
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PyTorch基础教程.pdf
07-23
### PyTorch基础教程知识点详解 #### 一、卷积神经网络（CNN）构建与应用 **背景介绍：** 在本教程中，我们将构建一个用于手写数字识别的基础卷积神经网络（CNN），该网络将基于著名的MNIST数据集进行训练。MNIST...
【Pytorch】2024 Pytorch基础入门教程（完整详细版）
热门推荐
炼丹笔记
09-11 11万+
Pytorch是torch的python版本，是由Facebook开源的神经网络框架，专门针对 GPU 加速的深度神经网络（DNN）编程。Torch 是一个经典的对多维矩阵数据进行操作的张量（tensor ）库，在机器学习和其他数学密集型应用有广泛应用。与Tensorflow的静态计算图不同，pytorch的计算图是动态的，可以根据计算需要实时改变计算图。但由于Torch语言采用 Lua，导致在国内一直很小众，并逐渐被支持 Python 的 Tensorflow 抢走用户。
PyTorch基础入门教程
csdn1561168266的博客
04-29 1254
大家好，PyTorch这款由Facebook的人工智能研究实验室（FAIR）开发的开源机器学习库，已经成为深度学习领域的明星。PyTorch凭借动态计算图、GPU加速和强大的生态系统，深受研究者和开发者的广泛好评。本文将介绍PyTorch的相关知识，并辅以代码示例解释，通过这些内容帮助大家理解PyTorch，为进一步的学习和应用打下坚实的基础。
Python深度学习之PyTorch基础教程
twg666的博客
06-10 996
PyTorch是一个基于Torch的Python开源机器学习(深度学习)框架，由Facebook的人工智能研究院开发，不仅能够实现强大的GPU加速，还支持动态神经网络，使得研究人员和开发人员能够轻松构建和训练复杂的深度学习模型。与TensorFlow等其他框架相比，Pytorch的主要优势在于其简单易用的接口、高效的性能和强大的生态系统。
Pytorch入门教程
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-08 3万+
Pytorch学习总结:1.张量Tensor 张量是一种特殊的数据结构，与数组和矩阵非常相似。在PyTorch中，我们使用张量对模型的输入和输出以及模型的参数进行编码。 张量类似于NumPy的ndarray，除了张量可以在 GPU 或其他硬件加速器上运行。事实上，张量和NumPy数组通常可以共享相同的底层内存，从而无需复制数据。...
PyTorch详细教程
IT菜鸟
02-13 9721
为了加速计算，一些框架会使用对神经网络“先编译，后执行”的静态图来描述网络。静态图的缺点是难以描述控制流（比如 if-else 分支语句和 for 循环语句），直接对其引入控制语句会导致产生不同的计算图。比如循环执行 n 次 a=a+b，对于不同的 n，会生成不同的计算图。
【Pytorch】Pytorch基础入门教程
zzqingyun的博客
02-14 1万+
Torch 自称为神经网络界的 Numpy, 因为他能将 torch 产生的 tensor 放在 GPU 中加速运算 (前提是你有合适的 GPU), 就像 Numpy 会把 array 放在 CPU 中加速运算. 所以神经网络的话, 当然是用 Torch 的 tensor 形式数据最好咯. 就像 Tensorflow 当中的 tensor 一样. numpy array 和 torch tensor 是可以自由地转换的。
深度学习之Pytorch基础教程！
小白学视觉
06-12 1274
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达Datawhale干货作者：李祖贤，Datawhale高校群成员，深圳大学随着深度学习的发展，深度学习框架开始大量的出现。尤其是近两年，Google、Facebook、Microsoft等巨头都围绕深度学习重点投资了一系列新兴项目，他们也一直在支持一些开源的深度学习框架。目前研究人员正在使用的深度学...
pytorch基础教程(目标检测)
m0_62150796的博客
12-04 2372
基于pytorch的cv基础教程
【机器学习】Pytorch 基础教程
Bonstoppo
04-11 162
针对之前看过的 numpy 教程，扩展到 pytorch 上。
深度学习与PyTorch入门实战教程-PyTorch基础教程-PyTorch进阶教程
最新发布
07-28
4.PyTorch基础教程 3.回归问题 2.开发环境安装 17.【选看】Numpy实战BP神经网络 16.【选看】人工智能发展简史 15.【选看】Ubuntu开发环境安装 14.对抗生成网络GAN 13.自编码器Auto-Encoders
04.PyTorch基础教程(深度学习与PyTorch入门实战教程)
03-01
(深度学习与PyTorch入门实战教程)(深度学习与PyTorch入门实战教程)(深度学习与PyTorch入门实战教程)(深度学习与PyTorch入门实战教程)(深度学习与PyTorch入门实战教程)(深度学习与PyTorch入门实战教程)(深度学习与...
pillow_heif-0.17.0-pp39-pypy39_pp73-macosx_14_0_arm64.whl
07-27
基本介绍 名称与起源：Pillow，原名为PIL（Python Imaging Library），但PIL只支持Python 2版本。随着Python 3的普及，Pillow作为PIL的一个分支出现，兼容Python 3并提供更多的功能和改进。 主要功能：Pillow支持多种图像格式的打开、保存、显示以及基本的图像操作和处理，如裁剪、缩放、旋转、翻转、滤镜应用等。 跨平台性：Pillow库可以在不同的操作系统上运行，包括Windows、Linux和MacOS等。 主要功能模块 Pillow库包含多个功能模块，每个模块都提供了特定的图像处理功能。以下是一些常用的模块： Image：用于处理图像文件，提供打开、保存、调整大小、旋转、裁剪、滤镜等功能。 ImageDraw：提供在图像上绘制各种形状（如线条、矩形、圆形）和文本的功能。 ImageFont：用于加载和使用TrueType字体文件，以便在图像上绘制文本时设置字体样式、大小和颜色。 ImageFilter：提供各种滤镜效果，如模糊、锐化、边缘增强等，用于图像增强、特效处理和图像识别等应用。 ImageEnhance：用于调整图像的亮度、对比度、颜色饱和度等参数，使图像更加清晰、明亮或具有特定的调色效果。 高级功能 除了基本的图像处理功能外，Pillow还支持一些高级功能，如色彩空间转换、直方图均衡化等。这些功能可以帮助用户进行更复杂的图像处理和分析。
cykooz.resizer-3.0.0-cp310-cp310-macosx_11_0_arm64.whl
07-27
python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！
[毕设]Delphi题库管理与试卷自动生成系统.zip
07-27
[毕设]Delphi题库管理与试卷自动生成系统
131 种水果、蔬菜和坚果的 90380张的高质量图像数据集+图像识别与定位+该数据集相关的研究论文
07-27
<项目介绍> 包含131 种水果、蔬菜和坚果的 90380张的高质量图像数据集+该数据集相关的研究论文。可供深度学习图像识别与定位。 - 训练集大小：67700 个图像 测试集大小：22888 个图像 文件名格式：image_index_100.jpg（例如 32_100.jpg）或 r_image_index_100.jpg（例如 r_32_100.jpg）或 r2_image_index_100.jpg 或 r3_image_index_100.jpg。 “r”代表旋转水果。 “r2”表示水果绕第三轴旋转。 “100”来自图像尺寸（100x100 像素）。 水果是如何拍摄的: 1:使用 C920 摄像机拍摄水果。最好的网络摄像头之一。 2:在水果后面，我们放了一张白纸作为背景。 3:将水果和蔬菜种植在低速电机（3转/分钟）的轴中，并录制一段20秒的短片。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
pytorch基础入门教程
06-02
好的，我来给你介绍一下 PyTorch 的基础入门教程。 PyTorch 是一个基于 Python 的科学计算库，它主要针对两类用户：NumPy 的替代品，可以利用 GPU 的性能进行计算；以及深度学习研究平台，提供了最大的灵活性和速度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值