【问题解决】RuntimeError: apex.optimizers.FusedSGD requires cuda extension 问题解决

于 2023-11-23 17:23:46 发布
阅读量942 收藏 1
点赞数 1
分类专栏： 问题记录 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiaoyangwm/article/details/134582330
版权

在使用 apex 库时，按照官方的方式安装后，虽然安装成功，但调用的时候会报错如下，也就是说其实没有成功安装可调用 cuda 的 apex：

RuntimeError: apex.optimizers.FusedSGD requires cuda extension

我找了很多解决方式，最终通过如下方式解决：

git clone https://github.com/NVIDIA/apex.git
cd apex
git checkout 22.04-dev
pip install -v --no-cache-dir --global-option="--pyprof" --global-option="--cpp_ext" --global-option="--cuda_ext" ./
呆呆的猫
关注
专栏目录
Pytorch RuntimeError: No CUDA GPUs are available解决方案
weixin_43178406的博客
04-07 8万+
本文主要介绍了使用Pytorch产生错误提示：RuntimeError: No CUDA GPUs are available的解决方案，希望能对使用Pytorch的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案 2.1 步骤一 2.2 步骤二 2.3 步骤三
RuntimeError: CUDA error: invalid device ordinal解决方案
weixin_43178406的博客
01-09 3万+
本文主要介绍了RuntimeError: CUDA error: invalid device ordinal解决方案，希望能对使用Python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案 2.1 LLM解决方案 2.2 cv2库解决方案
RuntimeError: apex.optimizers.FusedSGD requires cuda extension
qq_42037273的博客
12-05 1618
RuntimeError: apex.optimizers.FusedSGD requires cuda extension
nvidia apex fusedadam使用
qq_35985044的博客
01-08 637
nvidia apex fusedadam使用
Ubuntu20.04安装NVIDIA混合精度计算库apex全流程及各类报错问题解答
m0_46339652的博客
03-11 2518
背景：跟李沐老师一起探索RTX 3090的深度学习浮点运算性能，需要安装apex进行半精度运算，本文总结了Ubuntu20.04安装NVIDIA混合精度计算库apex全流程及各类报错问题解答环境：Python3.9CUDA11.7。
Pytorch 安装 apex 疑难杂症解决方案
tommorrow12的博客
01-07 1万+
RuntimeError: Cuda extensions are being compiled with a version of Cuda that does not match the version used to compile Pytorch binaries. Pytorch binaries were compiled with Cuda 9.0.176. 从描述可以看出是...
NPU上PyTorch模型调优问题案例
m0_71340392的博客
10-12 1620
在昇腾AI处理器上训练PyTorch框架模型时，可能由于算子在CPU上的下发速度、动态shape等问题，导致性能降低，那么本期就分享几个关于PyTorch模型调优的典型案例，给出调优思路及具体的调优方法。
Apex安装填坑
TinnyFlames
04-01 2402
第一个坑：cuda版本与pytorch构建版本不一致 因为服务器有很多人在使用，所以会出现cudnn构建版本与pytorch本身版本不一致的现象，使用conda环境安装的缺少编译apex所需的组件，这一点会造成apex安装不成功。这一点可以在报错信息里找到下面类似的提示： RuntimeError: Cuda extensions are being compiled with a version...
RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasGemmEx 解决方案
热门推荐
weixin_43178406的博客
06-12 8万+
本文主要介绍了RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasGemmEx 解决方案，希望能对学习pytorch的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
RuntimeError Cuda extensions are being compiled...Pytorch binaries were compiled with Cuda 11.7解决方案
weixin_43178406的博客
07-09 6万+
本文主要介绍了RuntimeError: Cuda extensions are being compiled with a version of Cuda that does not match the version used to compile Pytorch binaries. Pytorch binaries were compiled with Cuda 11.7解决方案，希望能对使用Pytroch的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
RuntimeError: “LayerNormKernelImpl“ not implemented for ‘Half‘解决方案
weixin_43178406的博客
10-13 8万+
 本文主要介绍了RuntimeError: “LayerNormKernelImpl” not implemented for 'Half’解决方案，希望能对学习大模型的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
Apex相关
xiaojiajia007的博客
12-18 1279
What is the difference between FusedAdam optimizer in Nvidia AMP package with the Adam optimizer in Pytorch? 摘录自 The Adam optimizer in Pytorch (like all Pytorch optimizers) carries out optimizer.step(...
关于报错AssertionError: CUDA unavailable, invalid device 0 requested的处理方式
pyxiaosheng的博客
03-29 1万+
从git上找了一个工程，按照其readme.md想运行试试，遇到报错： 这个报错是指：代码要运行CUDA，但是不能运行。 解决办法分两种情况：1.不运行CUDA；2.运行CUDA。 针对情况1： 点击蓝色 .\torch_utils.py 文件，传送到下图： 继续按照其readme.md运行试试，会遇到如下报错： 此时，点击报错中倒数第二个upsampling.py文件，传送到下图： 屏蔽后如下图： 到此，不运行CUDA的情况下可以正常运行程序了。 针对情...
apex的安装和错误Disabling all use of wheels due to the use of --build-option / --global-option / -- instal
qq_42845932的博客
04-27 1406
UserWarning: Disabling all use of wheels due to the use of --build-option / --global-option / -- install-option. cmdoptions.check_install_build_global(options)
apex的实践
weixin_34149796的博客
04-12 2002
欢迎访问个人博客Alex Chiu的学习空间 apex是NVIDIA开源的用于在PyTorch框架下实现混合精度训练的模块，能够方便地进行FP16训练。 This repository holds NVIDIA-maintained utilities to streamline mixed precision and distributed training in Pytorch. Some...
apex安装报错：Cuda extensions are being compiled with a version of Cuda that does not match the verson
rocking_struggling的博客
12-12 1万+
apex是nvdia的半精度运算库，能够增加运算速度，减小现存占用。 apex的仅支持带有tensor core的GPU，即RTX显卡。 apex的安装方式如下： git clone https://github.com/NVIDIA/apex cd apex pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./ 但是我在安装过程中：报错了 RuntimeError: Cuda e
全网最全RuntimeError: CUDA error: out of memory解决方法
qq_37668436的博客
11-19 5万+
第一种情况 如果这个报错后面跟了想要占用多少显存但是不够这样的字眼，如下： 解决办法就很简单了： 改小batchsize，batchsize砍半可以差不多省掉一半的显存 推理阶段加上with torch.no_grad()，这个可以将修饰的代码段不要梯度，可以省掉很多显存 改小input的shape，例如(224,224)->(112,112)这样可以省掉一半的显存 换小的网络结构 用多卡训练，torch可以用model = nn.DataParallel(model)启用多卡训练，终端用CUDA
apex.optimizers.FusedSGD
最新发布
09-22
`apex.optimizers.FusedSGD`是Apex库（NVIDIA的深度学习库）中的一个优化器，它特别适合大规模机器学习训练任务，特别是那些使用混合精度训练（Mixed Precision Training）的情况。混合精度训练通过在单次计算中结合半精度浮点数（16位精度）和全精度浮点数（32位精度），来提高训练速度并减少内存需求。 FusedSGD实际上是对标准的SGD（随机梯度下降）进行了优化，它将梯度计算与权重更新过程合并在一起，这通常会在GPU上执行得更快，因为GPU硬件支持这些操作的融合执行。然而，要使用这个优化器，你的环境必须具备CUDA支持，因为它是专为CUDA设计的。 如果你遇到了`RuntimeError: apex.optimizers.FusedSGD requires cuda extension`的错误，说明你的Python安装可能缺少对CUDA的支持，或者`apex`库没有找到正确的CUDA版本。按照[2]中的指南，你应该先克隆Apex仓库，然后使用`pip`以全局选项安装，包括`--cuda_ext`，这会确保库正确地链接到你的CUDA环境。 如果你之前尝试的是`python setup.py install`，可能无法自动检测CUDA环境，而推荐的方式是使用`pip`命令直接指定安装选项，就像[2]所示那样： ```bash git clone https://github.com/NVIDIA/apex cd apex pip install -v --no-cache-dir --global-option="--pyprof" --global-option="--cpp_ext" --global-option="--cuda_ext" . ``` 如果仍然遇到问题，可能需要检查你的CUDA版本，以及系统中是否有正确的cuDNN库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

呆呆的猫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值