Using torch_extensions\Cache\py39_cu121 as PyTorch extensions root...卡住问题解决

最新推荐文章于 2024-06-22 16:12:05 发布
最新推荐文章于 2024-06-22 16:12:05 发布
阅读量526 收藏
点赞数 2
文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45615730/article/details/137059945
版权

Using C:\Users\13090\AppData\Local\torch_extensions\torch_extensions\Cache\py39_cu121 as PyTorch extensions root…
没有报错，只是load运行后一直停在这一步
解决方案：
打开C:\Users\13090\AppData\Local\torch_extensions\torch_extensions
我的地址是这个，你们应该按自己的用户名来找这个位置
这个目录里有个cache缓存文件夹
在这里插入图片描述
直接把这个文件夹删除掉，然后再重新运行，就可以了

chari克里
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
进程在运行时卡住，显存分配了却不开始训练（卡在Using /home/faith/.cache/torch_extensions as PyTorch extensions root...）
u013250861的博客
06-10 534
最后仔细分析了以下，这个代码可能有一些问题，因为我之前是用四张3090在训练，中途停电就中断了一下，当我重新运行的时候使用的是两张卡就出现了这种情况，所以我怀疑可能是 .cache 的原因，导致了进程卡死（两次运行环境和配置不同引起的）），将这个文件夹删除即可，可以重新生成.cache文件夹，然后就不会有冲突啦。无论怎么重新运行程序，或者改变线程或者显卡都一直卡在这里，没有继续训练。一般会在用户主目录下会有一个自动生成的。文件夹（有可能是隐藏状态，需要你打开。
Pytracking代码运行笔记
热门推荐
而濡木染
06-06 1万+
https://github.com/visionml/pytracking 1.git clone https://github.com/visionml/pytracking.git 2.cd pytracking/ 3.git submodule update --init 4. bash install.sh conda_install_path pytracking conda_...
deepspeed分布式训练在pytorch 扩展(PyTorch extensions)卡住
鲨鱼儿的博客
03-15 877
PyTorch extensions 初次构建需要一定的时间，如果构建失败需要将之前构建的缓存删除，否则就有可能卡住较长的时间。出现在多卡训练过程的pytorch 扩展，deepspeed 长时间卡住（1-2小时）重新运行训练脚本，程序work。
python编译CUDA c++扩展的过程中卡住
2401_83641491的博客
04-13 334
在PyTorch编译和加载CUDA/C++扩展的过程中，
2021-05-28
weixin_46694229的博客
05-28 115
win10环境下pycharm成功安装torch，解决报错:from torch._C import * ImportError: DLL load failed: 找不到指定的模块 1升级python，我的python3.6.0升级到python3.6.5，升级后问题解决，但又报另一个错意思是“torch与CUNA不匹配” 2查看自己电脑的CUDA版本（查看方法百度），再去torch官网https://pytorch.org/找对应版本的torch下载! 下载方法：复制上图中蓝色线画网址进入选择对应的版本
pytorch扩展权限问题： [cpp_ext] tmp build dir permission issue
Lee.rw的博客
08-13 986
问题详见： issue34238 用户在使用torch.utils.cpp_extension.load调用自己的torch扩展时，pytorch默认会在linux的tmp/torch_extension目录下编译，但是当系统中多用户使用该扩展时会产生冲突，系统会对/tmp/torch_extension/$your_extension文件夹上锁，导致另一个用户无法因为权限问题使用。 该issue已经在torch1.6及其更高版本中被解决 commit/13013848d58a606da7377affeb4
编译pytorch版本的PreciseRoIPooling
木木JL的博客
04-19 4363
编译pytorch版本的PreciseRoIPooling中遇到的问题找不到cuda include cuda_runtime_api的问题nvcc fatal : Unsupported gpu architecture 'compute_86'关于cuda版本兼容性的问题 Dimp模型中使用pr pooling来池化目标区域(ROI)特征，以此初始化滤波器，使用到的prroi_pool模块来自于github，在编译过程中遇到些问题。 找不到cuda include cuda_runtime_api的
torchfunc:PyTorch功能和实用程序使您的生活更轻松
05-04
在数据通过时记录/分析torch.nn.Module内部状态 根据外部条件执行上述操作（使用单个Callable进行指定） 日常神经网络相关职责（模型大小，播种，时间测量等） 获取有关您的主机操作系统， torch.nn.Module设备，...
pytorch ImageFolder的覆写实例
12-20
在为数据分类训练分类器的时候，比如猫狗分类时，我们经常会使用pytorch的ImageFolder: CLASS torchvision.datasets.ImageFolder(root, transform=None, target_transform=None, loader=, is_valid_file=None) ...
PyTorch 学习笔记 (3) PyTorch 1.0+ C++/CUDA extension
风海流的豪赌
11-20 2974
参考教程 PyTorch官方教程 本机系统 Ubuntu 18.04 LTS NVIDIA GeForce GTX 1080 with driver 430.50 CUDA V10.1.243 python 3.6.8 virtualenv torch.version == ‘1.2.0’ Visual Studio Code配置 由于我使用的是python 的virtual environme...
【pytorch01】简单回归问题
qq_45291280的博客
06-19 754
简单回归问题
【深度学习基础】详解Pytorch搭建CNN卷积神经网络LeNet-5实现手写数字识别
Bossfrank的博客
06-19 1177
本文相熟了卷积神经网络CNN的原理，并介绍了如何使用PyTorch框架搭建卷积神经网络模型CNN。实现了LeNet-5的模型的搭建、模型训练、测试、网络的复用、直观查看数据集的图片预测结果等，完成了机器学习领域的Hello world——手写数字识别。
动手学深度学习5.2 参数管理-笔记&练习（PyTorch）
scdifsn的博客
06-19 1063
李沐老师《动手学深度学习（PyTorch版）》5.2 参数管理-笔记&练习详解
动手学深度学习（Pytorch版）代码实践 -深度学习基础-06Softmax回归简洁版
李思成的博客
06-18 728
【代码】动手学深度学习（Pytorch版）代码实践 -深度学习基础-06Softmax回归简洁版。
动手学深度学习（Pytorch版）代码实践 -深度学习基础-07多层感知机基础版
李思成的博客
06-18 584
【代码】动手学深度学习（Pytorch版）代码实践 -深度学习基础-07多层感知机基础版。
动手学深度学习（Pytorch版）代码实践 -深度学习基础-04图片分类数据集
李思成的博客
06-18 494
【代码】动手学深度学习（Pytorch版）代码实践 -深度学习基础-04图片分类数据集。
动手学深度学习（Pytorch版）代码实践 -卷积神经网络-20填充与步幅
最新发布
李思成的博客
06-22 227
【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-20填充与步幅。
python如何读取tfrecord文件_Python如何读取tfrecord文件使用pytorch读取tfrecord文件而不依赖tensordflow,python,PyTorch,TensorD...
06-08
Python读取TFRecord文件的方法如下： ```python import tensorflow as tf # 创建一个TFRecordDataset对象 dataset = tf.data.TFRecordDataset('data.tfrecord') # 定义读取函数 def parser(record): features = { 'image': tf.io.FixedLenFeature([], dtype=tf.string), 'label': tf.io.FixedLenFeature([], dtype=tf.int64) } parsed = tf.io.parse_single_example(record, features) image = tf.io.decode_jpeg(parsed['image'], channels=3) label = parsed['label'] return image, label # 应用读取函数到每个record dataset = dataset.map(parser) # 创建迭代器 iterator = dataset.make_one_shot_iterator() # 获取数据 image, label = iterator.get_next() ``` 以上代码演示了如何读取名为`data.tfrecord`的TFRecord文件，并解析其中的图像和标签信息。在解析函数`parser`中，我们先定义了TFRecord文件中包含的特征信息，然后使用`tf.io.parse_single_example`函数解析单个record，并对图像数据进行解码。最后，我们使用`map`函数将解析函数应用到每个record上。 当然，如果您使用的是PyTorch，也可以使用以下代码读取TFRecord文件： ```python import torch import torchvision.datasets as datasets import torchvision.transforms as transforms # 定义解析函数 def parser(record): features = { 'image': tf.io.FixedLenFeature([], dtype=tf.string), 'label': tf.io.FixedLenFeature([], dtype=tf.int64) } parsed = tf.io.parse_single_example(record, features) image = tf.io.decode_jpeg(parsed['image'], channels=3) label = parsed['label'] return image, label # 创建数据集对象 dataset = datasets.DatasetFolder( 'data.tfrecord', loader=lambda x: torch.load(x), extensions=('tfrecord') ) # 应用解析函数到每个record dataset.transform = transforms.Compose([ parser ]) # 创建数据加载器 dataloader = torch.utils.data.DataLoader( dataset, batch_size=32, shuffle=True ) # 获取数据 for images, labels in dataloader: # 使用数据进行训练或预测 pass ``` 以上代码演示了如何使用PyTorch的`DatasetFolder`读取TFRecord文件，并使用解析函数`parser`解析图像和标签信息。最后，我们创建了一个数据加载器，并使用其中的数据进行训练或预测。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值