Pytorch学习笔记之文件处理

suehf

已于 2023-01-11 00:00:43 修改

阅读量136

点赞数

文章标签：学习

于 2023-01-10 23:46:50 首次发布

本文链接：https://blog.csdn.net/weixin_44121450/article/details/128637946

版权

学习资料：余霆嵩pytorch教程

在看到将test数据按照8：1：1划分为训练、验证、测试集的代码时，遇到了几个新的函数，做下记录

1.os.waik(dir)参数是一个地址，返回root，dirs，files

root：这个地址本身

dirs：地址下所有的目录名

files：地址下所有的文件名

相关教程：Python os.walk() 方法 | 菜鸟教程

2.glob.glob（path+partern）

返回在path路径下所有符合某种命名的文件名list

相关教程：python glob.glob() - 行走的蓑衣客 - 博客园

3.shutil.copy(src, dst)复制内容(src是该文件的绝对路径)到dst

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

suehf

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

pytorch 笔记

zyn0318的博客

05-13

468

1. 随机数（1）torch.rand(*size, out=None): 生成一个size大小的tensor，该tensor中每个数都是(0,1)之间的随机数>>>import torch >>>a = torch.rand(2,3) tensor([[ 0.1883, 0.7010, 0.3998], [ 0.5310, 0.7832,...

Pytorch笔记

且听风吟的博客

11-30

2919

目录 tensor与array转换查看 Tensor 数据类型 Tensor数据类型转换扩维（unsqueeze）和降维（squeeze）更改数据维度 PIL和OpneCV的RGB排列 ToTensor torch.view() 参数 inplace 判断一个对象是否可以迭代 ipython 常用指令模块函数 Visdom 可视化 tensorboardX 可视...

参与评论您还未登录，请先登录后发表或查看评论

chatgpt赋能python：Python如何自动在电脑上生成文件

GitHub质检员

04-15

574

自动化文件生成是一种自动化过程，它允许Python程序在电脑上生成文件，以便更好地管理数据。当我们需要处理大量数据时，手动创建文件是非常繁琐的。但是使用Python自动化生成文件，可以大大减轻这个任务，并提高效率。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。

学习PyTorch中的文本生成和语言模型

程序员光剑

01-28

789

1.背景介绍文本生成和语言模型是自然语言处理(NLP)领域的一个重要分支，它涉及到自然语言的生成和理解。在这篇博客中，我们将深入探讨PyTorch中的文本生成和语言模型，涵盖了背景介绍、核心概念与联系、核心算法原理和具体操作步骤、数学模型公式详细讲解、具体最佳实践：代码实例和详细解释说明、实际应用场景、工具和资源推荐、总结：未来发展趋势与挑战以及附录：常见问题与解答。 1. 背景介绍自然...

PyTorch_tutorial_余霆嵩

01-08

PyTorch中文版教程，详实可靠

PyTorch_tutorial_0.0.5_余霆嵩

01-22

包含可4个章节的源码，和0.04版本0.05版本的教程文档。本教程内容主要为在 PyTorch 中训练一个模型所可能涉及到的方法及函数，并且对 PyTorch 提供的数据增强方法（ 22 个）、权值初始化方法（ 10 个）、损失函数（ 17 个）、优化器（ 6 个）及 tensorboardX 的方法（ 13 个）进行了详细介绍。本教程分为四章，结构与机器学习三大部分一致。第一章，介绍数据的划分，预处理，数据增强；第二章，介绍模型的定义，权值初始化，模型 Finetune；第三章，介绍各种损失函数及优化器；第四章，介绍可视化工具，用于监控数据、模型权及损失函数的变化。

PyTorch模型的保存与加载

关于我的学习记录

12-06

4759

PyTorch模型的保存与加载

Pytorch学习笔记6：处理多维特征的输入

Jackydyy的博客

06-02

369

PyTorch学习笔记02

Morphine_的博客

07-15

259

基于时装分类的实战案例

Pytorch学习笔记

qq_43787862的博客

03-29

577

此文为学习"莫烦Python"的Pytorch笔记 2.2 Variable变量神经网络中的参数都是变量的形式,参数的更新是以Variable为基础的;Variable 需要从torch.autograd导入.;误差传播是根据Variable搭建的图来进行计算的,require_grad=True才计算变量节点的梯度.tensor无法反向传播,Variable才可以反向传播. import to...

PyTorch模型训练最新实用教程 (余霆嵩) PDF版

12-24

本教程以实际应用、工程开发为目的，着重介绍模型训练过程中遇到的实际问题和方法。如上图所示，在机器学习模型开发中，主要涉及三大部分，分别是数据、模型和损失函数及优化器。本文也按顺序的依次介绍数据、模型和损失函数及优化器，从而给大家带来清晰的机器学习结构。本教程内容主要为在 PyTorch 中训练一个模型所可能涉及到的方法及函数，并且对 PyTorch 提供的数据增强方法（22 个）、权值初始化方法（10 个）、损失函数（17 个）、优化器（6 个）及 tensorboardX 的方法（13 个）进行了详细介绍。本教程分为四章，结构与机器学习三大部分一致：第一章，介绍数据的划分，预处理，数据增强；第二章，介绍模型的定义，权值初始化，模型 Finetune；第三章，介绍各种损失函数及优化器；第四章，介绍可视化工具，用于监控数据、模型权及损失函数的变化。

PyTorch_tutorial_0.0.4_余霆嵩

12-20

教程以实际应用、工程开发为目的，着重介绍模型训练过程中遇到的实际问题和方法。如上图所示，在机器学习模型开发中，主要涉及三大部分，分别是数据、模型和损失函数及优化器。本文也按顺序的依次介绍数据、模型和损失函数及优化器，从而给大家带来清晰的机器学习结构。

深度学习pytorch2.0教材学习笔记，以及自己的一点扩充

最新发布

05-19

本资料包包含了基于PyTorch 2.0的深度学习教材学习笔记，以及作者的个人扩充内容。这些笔记以Jupyter Notebook的形式呈现，便于读者交互式地学习和实践。每个"day"的文件分别代表作者一天的学习内容，从基础概念到...

pytorch学习笔记

qq_46497008的博客

12-07

1038

numpy如何初始化数组 Numpy简介使用Numpy创建数组创建空数组 empty()函数 empty_like()函数创建填充固定值的数组 zeros()函数 zeros_like()函数 ones()函数 full()函数生成随机数数组 seed()函数 RandomState()函数 random()函数 permutation()函数 shuffle()函数 rand()函数 randint()函数 randn()函数 binomial()函数 normal()函数 beta()函数 c

深度学习工具：pytorch

魏云舒的博客

01-18

330

一、什么是深度学习就是门解决问题的工具，用大量的数据和计算才驱动的一个算法，用python去研究，但只有落地才有价值 1、pytorch pytorch 入门参考资料：陈云：深度学习框架PyTorch入门与实践推荐理由：入门好书，开始阅读英文文档，有些概念吃不透，看了这本书，豁然开朗建议买本纸质书，能够在上面做笔记，书上部分代码有点问题，不建议一开始就自己对着敲代码调试起来有些困...

【SciKit-Learn学习笔记】6：朴素贝叶斯做文档分类并绘制混淆矩阵

LauZyHou的笔记

11-28

2154

学习《scikit-learn机器学习》时的一些实践。条件独立朴素即指的是条件独立假设，假设n个特征之间不相关，则可据联合概率的条件展开式： p(Ck)P(x∣Ck)=P(Ck,x)=P(x1,x2,..,xn,Ck)=P(x1∣x2,..,xn,Ck)P(x2,..,xn,Ck)=P(x1∣x2,..,xn,Ck)P(x2∣x3,..,xn,Ck)P(x3,..,xn,Ck)......=...

查准率、查全率、混淆矩阵python代码

kaidikake的博客

04-25

3159

针对celeb数据集发现数据样本及其不均衡导致结果全部预测为样本多的数据为此记录下其他的指标学习更详细内容请查看余霆嵩pytorch教程前言：先看一个经典的例子：目的：设计一个分类器类分类患者的肿瘤是不是良性的数据集：我们有10000个样本，其中9995个是良性的，只有5个人是恶性的。如果我们只关注预测的错误率的，我们可以设计模型无论什么样本输入，全部输出良性。此时的准确率是99.9...

Python编程基础与实战笔记

"这是一份详细的Python学习笔记，涵盖了从基础到进阶的多个主题，包括程序设计基本方法、Python语言基本语法、数据类型、控制结构、函数、组合数据类型、文件操作、Python计算生态、标准库和第三方库的概览。...