Pytorch关键知识点学习笔记

最新推荐文章于 2024-06-03 20:04:22 发布
最新推荐文章于 2024-06-03 20:04:22 发布
阅读量581 收藏 1
点赞数
分类专栏： 深度学习专栏 人工智能学习专栏 文章标签： 深度学习 神经网络 pytorch Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Runnymmede/article/details/128926335
版权
本文详细介绍了PyTorch中的模型搭建流程，包括数据加载、模型、损失函数和优化器的设置。讨论了Function与Module的区别，DataLoader、Dataset和Sampler的使用，以及Tensor与numpy的转换。此外，还涵盖了ModuleList与Sequential的不同，训练时GPU显存管理策略，以及ReLU、梯度累计等关键知识点。
摘要由CSDN通过智能技术生成

模型搭建流程

模型搭建流程

  1. 加载数据。train_loader = torch.utils.data.Dataloader()

  1. 构建模型。model = torch.nn.module

  1. 构建损失。loss = torch.nn.CrossEntropyLoss()

  1. 构建优化器。optimizer = torch.optim.Adam()

  1. 设置学习率更新策略。scheduler = torch.optim.lr_scheduler.MultiStepLR()

  1. FP16࿰

了解本专栏 订阅专栏 解锁全文 超级会员免费看
mFcoder187974305
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
pytorch关键技术
东方佑
05-15 343
https://www.jianshu.com/p/7a7d45b8e0ee
使用pytorch最关键的几个点
热门推荐
东方佑
06-16 15万+
第一个就是pytorch的可视化模块 visdom 使用之前需要安装 使用pip3 install visdom import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torchvision import datasets, transfo...
pytorch学习day4
最新发布
vimpirespider的博客
06-03 892
输入特征图的通道数。：输出特征图的通道数。：卷积核的大小，可以是单个整数或者元组。stride：卷积核的步幅，决定了上采样的倍数。padding：在输入图像四周填充的像素数。：输出图像额外的填充，控制输出尺寸。bias：是否使用偏置，默认为True。池化层（Pooling Layer）是卷积神经网络（CNN）中的一种常见操作，通常用于减少数据的空间维度（即宽度和高度），从而减少参数数量和计算量，同时保留重要的特征信息。线性层的操作可以用以下数学公式表示：x 是输入向量或输入张量。
pytorch定义卷积层，输入是1，输出是32，卷积核大小为8,紧接着一个BN层
weixin_35756373的博客
01-02 244
在 PyTorch 中，可以使用 nn.Conv2d 类来定义卷积层。示例代码如下： import torch import torch.nn as nn # 定义卷积层，输入通道数为1，输出通道数为32，卷积核大小为8 conv = nn.Conv2d(1, 32, kernel_size=8) # 定义 Batch Normalization 层 bn = nn.BatchNorm2d(3...
Pytorch使用Scaler时关于scheduler和optimizer顺序的报错：`optimizer.step()` before `lr_scheduler.step()`
ysngki的博客
02-24 1149
解决了pytorch使用混合精度时，optimizer和scheduler顺序不对导致的报错问题。
PyTorch学习笔记（六）——Sequential类、参数管理与GPU
⚡
05-10 4551
目录一、torch.nn.Sequential 一、torch.nn.Sequential Sequential 本质是一个模块（即 Module），根据Pytorch中的约定，模块中可以继续添加模块。这意味着我们可以在 Sequential 中添加其它的模块（当然也可以添加其他的 Sequential）。添加完成后，Sequential 会将这些模块组成一个流水线，输入将依次通过这些模块得到一个输出，如下图所示： ...
pytorch-notes:pytorch学习笔记
04-29
在"pytorch-notes-master"这个压缩包中，包含了作者整理的PyTorch学习笔记，涵盖了上述各个知识点的详细讲解和实例代码。通过阅读这些笔记，读者可以系统地了解PyTorch并逐步提升在深度学习领域的实践能力。同时，...
深度学习pytorch2.0教材学习笔记，以及自己的一点扩充
05-19
本资料包包含了基于PyTorch 2.0的深度学习教材学习笔记，以及作者的个人扩充内容。这些笔记以Jupyter Notebook的形式呈现，便于读者交互式地学习和实践。每个"day"的文件分别代表作者一天的学习内容，从基础概念到...
Python-一些关于pytorch深入学习的笔记
08-11
在“Python-一些关于pytorch深入学习的笔记”中，我们将重点关注以下几个关键知识点： 1. **动态计算图**：PyTorch的一大特点是支持动态计算图，与TensorFlow等静态计算图框架不同，这使得编写和调试神经网络模型...
B站整理的pytorch笔记
05-21
"PyTorch基础知识点" PyTorch是当前深度学习领域中最流行的框架之一，广泛应用于计算机视觉、自然语言处理、语音识别等领域。以下是对PyTorch基础知识点的总结。 torch.tensor：PyTorch中的基本数据结构是tensor，...
pytorch学习日志，深度学习资源整理
04-14
【标签】"pytorch学习日志" 表明主要内容围绕着PyTorch的学习，可能包括了基本操作、张量运算、自动梯度、构建神经网络模型、数据加载、模型训练、优化器使用、损失函数理解、模型保存与加载、分布式训练等知识点。...
pytorch中的tensor实现数据降维以及通道数转换
yangfaner2021的博客
11-16 7676
上例中torch.narrow(x,0,2,3)，因x为5X6的二维tensor，由两个维度[0,1]，0表示第一维,横向，1表示第二维，纵向；且第一维通道数为5，第二维通道数为6。第三个变量为所选维度中的第几个通道为起点。如果在深度学习中图像处理中常遇到思维tensor，即x.shape=[9，3，256，256],3代表彩色图片RGB的三个通道数，如想实现降维操作，可将x的第二维的通道数3变为1，再使用x=torch.squeeze(x,dim=1)实现降维，降维后shape变为[9,256,256]
主干网络的输入通道数从3改为1，同时保证预训练权重输出
封梧鸣的博客
06-25 3315
让image net预训练权重在单通道数据上变得有意义
GPU后将Tensor转换为numpy
weixin_42152487的博客
03-23 652
【代码】GPU后将Tensor转换为numpy。
Pytorch Tensor维度变换
洪流之源
06-25 6万+
1. 改变shape torch.reshape()、torch.view()可以调整Tensor的shape，返回一个新shape的Tensor，torch.view()是老版本的实现，torch.reshape()是最新的实现，两者在功能上是一样的。 示例代码： import torch a = torch.rand(4, 1, 28, 28) print(a.shape) prin...
numpy下的轴交换transpose和 swapaxes的解读
qq_35810838的博客
11-21 2964
  法的参数是一个 由 轴编号（轴编号自0 开始） 序列构成的 元组。 开始时，数组的轴编号序列是默认从 0开始的 ：0，1，2，， 坐标的顺序也是这个轴编号的顺序，（0，1，2） 当使用 transpose 时候，轴编号的顺序变成了 （1，0，2） 说明 0号轴和1号轴的顺序变了， 那么，坐标的顺序也应该变了， 例如 元素 8： 开始时：根据轴顺序 0，1，2。他的坐标是 （1，0，0） ...
numpy数组如何交换行列？（将BGR变成RGB）
Dontla的博客
12-18 2637
# -*- coding: utf-8 -*- """ @File : numpy_test.py @Time : 2020/12/18 9:11 @Author : Dontla @Email : sxana@qq.com @Software: PyCharm """ import numpy as np arr = np.arange(24).reshape(2, 3, 4) print(arr) # [[[ 0 1 2 3] # [ 4 5 6 7] # [ 8
如何理解图片RGB通道在python（numpy）中的数据构成
昆兰.沃斯 的博客
10-24 1万+
今天是个特殊的日子1024，出于本能强行写下一篇文章。伟大而又平凡的程序猿祝你节日快乐。 该文将尽可能简短的描述基于numpy，在python中使用skimage的io或PIL或其他方法读取图片后GRB数据的结构与呈现方式。 我们肉眼看到的图片无非两种（灰色和彩色），而通过编程语言转换为电脑能认识的模样也就是数字了。这些数字决定了在电脑中它是彩色还是灰色，对于彩色图片决定的方式就是——颜色...
图像通道转换——从np.ndarray的[w, h, c]转为Tensor的[c, w, h]
qq_39413850的博客
12-03 1512
在神经网络中，图像被转换为张量形式。 pytorch中张量的通道顺序为[c, h, w]格式或者[n, c, h, w]格式 如果需要将图像以np.ndarray形式输入 需要知道np.ndarray默认将图像表示成[h, w, c]个格式，并且要对其进行转化。 n：样本数量 c：图像通道数 w：图像宽度 h：图像高度 ...
龙良曲pytorch学习笔记
05-12
龙良曲是一位深度学习爱好者和资深程序员，他在学习深度学习和PyTorch的过程中整理了一系列的学习笔记，被称为“龙良曲PyTorch学习笔记”。这个学习笔记包含了从基础的张量操作到深度学习模型的实现等内容，适合初学...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mFcoder187974305

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值