一些从源码编译 pytorch的时候的问题

最新推荐文章于 2024-08-19 17:33:54 发布
最新推荐文章于 2024-08-19 17:33:54 发布
阅读量7.1k 收藏 3
点赞数
分类专栏： cudnn pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011394059/article/details/78656131
版权
在尝试从源码编译PyTorch时遇到了cudnn版本错误，编译版本与使用版本不一致，导致无法在两块k80 GPU上运行。通过检查发现cudnn_v7头文件实为v5版本。解决方法包括删除旧的cudnn路径，使用正确版本的cudnn重新编译。在PyCharm中远程调试时也遇到了问题，通过复制库文件到anaconda环境解决了导入错误。确保使用源码安装PyTorch时，cudnn已正确配置。
摘要由CSDN通过智能技术生成

由于遇到了不能使用两块 k80GPU，
和pycharm 远程连接服务器的时候不能调试的问题：

ImportError: dlopen: cannot load any more object with static TLS

然后 conda install 的 pytorch 使用的 cudnn 版本的6的，使用
torch.backends.cudnn.version()来查看使用的 cunn版本。
详细参见我提的 issue cudnn version found error, v7 files but got v5.1.10 #3896.

所以需要从源码编译中安装，然后遇到一堆坑。

1. 编译的时候cudnn版本不对

使用的 cuda 8.0, 在编译的时候提示
note: #pragma message: CuDNN v5 found, but need at least CuDNN v6.
在 log中找到
-- Found cuDNN: v5.1.10 (include: /usr/local/cuda-8.0/include, library: /usr/lib/x86_64-lin

最低0.47元/天 解锁文章
oneTaken
关注
专栏目录
完整在pycharm上通过torch调用GPU（最细节）
weixin_64605288的博客
07-10 2万+
作者经过数天的研究，折合了无数人的观点，最后再一步一步实践得到的完整版torch调用GPU全过程
Windows源码编译Pytorch和Detectron2记录
Renaisence的博客
07-31 598
想在实验室电脑上搭建Detectron2环境以方便改代码，cpu版的倒是好搭建，但是由于实验电脑过于老旧（GT730 (ㄒoㄒ)），在安装CUDA版的pytorch后，发现pytorch在1.3版本后不在支持算力低的显卡，而detectron2又不支持版本低的pytorch，无奈只能从source from安装pytorch，下面给出我安装CUDA版时的方法和我踩过的坑： 1.安装CUDA和cudnn： https://blog.csdn.net/sinat_23619409/...
Pytorch查看torch版本，查看torchvision版本，查看CUDA版本，查看cudnn版本，查看pytorch可用性，查看cuda可用性，查看cudnn可用性，查看显卡，指定运算GPU
shaqilaixi2的博客
12-03 6万+
1 打印Pytorch版本 1.1 打开终端，激活相应的环境 例如我的是：pytorch180cuda111 conda activate pytorch180cuda111 1.2 输入命令查看 import torch print(torch.__version__) #注意是双下划线
python3.9使用scikit-learn报错ImportError: dlopen: cannot load any more object with static TLS
最新发布
Key_book(句芒安全实验室)
08-19 300
另外，python写的脚本对各个模块和版本依赖比较高，方案1是开始前就确认好所需的版本迁移后安装相应版本和模块；注意，本次问题解决的前提在脚本本身可以运行迁移后无法运行，如果脚本本身还无法正常运行可能不适用于此方法。2.本地输出改脚本运行的模块，查看对应模块的版本，因为排查本次报错的为scikit-learn。服务器环境为centos7，该脚本在mac下调试可正常运行，迁移到服务器后出现上述报错。1.该脚本在本地可运行，服务器上不可以运行，可能是环境依赖问题
cuDNN version incompatibility 查看cuDNN版本 version路径变化
xiguapidefuli的博客
06-21 1473
cuDNN版本为（8, 0, 5)。跟cuDNN version incompatibility错误：PyTorch was compiled against (8, 5, 0) but found runtime version (8, 2, 2) 中，提到的版本号一致。显示错误为cuDNN version incompatibility: PyTorch was compiled against (8, 5, 0) but found runtime version (8, 2, 2)。
ImportError: dlopen: cannot load any more object with static TLS
weixin_50749729的博客
11-15 418
原因是：加载库顺序的问题，imgaug用的加载库方式可能已经过期了，从imgaug里加载cv2就会炸。但如果提前加载了cv2就不会走这一步，就不炸了。解决方法：在主程序中把import cv2加到import os前面。上面报错的信息是在主程序调用的子程序上的报错。
sklearn 报错ImportError: dlopen: cannot load any more object with static TLS
小苏打的学习博客
04-10 1004
在运行代码时，运行结果出现，通过下图中代码错误位置定义查看得知是是导入其中的sklearn库出现的错误。然后开始对sklearn库进行处理，通过尝试和查阅大量其他博客资源，最终得知对，可以成功运行。
在Windows上编译Pytorch 源码
qq_43051923的博客
09-03 6427
Pytorch 源码编译 Windows GPU编译工具和第三方库1.1 Visual studio 20191.2 Cuda toolkit1.3 cudnn1.4 mkl1.5 magma1.6 sccache1.7 安装Ananconda 或者 miniconda1.8 安装python 包设置环境变量开始编译编译Pytorch wheel只编译libtorch 编译工具和第三方库 1.1 Visual studio 2019 不过最新的VS 2019有点问题，所以需要装
源码编译pytorch 1.0 遇到的问题
eric-zhang的博客
09-24 1993
1、问题一 pytorch-stable/third_party/ideep/mkl-dnn/src/cpu/ref_rnn.cpp: 在成员函数‘void mkldnn::impl::cpu::_ref_rnn_common_t<aprop>::pack_weights(int, int, int, int, int, int, int, float**, int, int*,...
CentOS通过pytorch源码编译pytorch
01-29
以下是在CentOS上通过pytorch源码编译pytorch的步骤： 1. 克隆pytorch源码库： ```shell git clone https://github.com/pytorch/pytorch.git cd pytorch ``` 2. 切换到所需的版本： ```shell git checkout v1.4 ``...
浅谈pytorch torch.backends.cudnn设置作用
12-20
cuDNN使用非确定性算法，并且可以使用torch.backends.cudnn.enabled = False来进行禁用 如果设置为torch.backends.cudnn.enabled =True，说明设置为使用使用非确定性算法 然后再设置： torch.backends.cudnn.benchmark = true 那么cuDNN使用的非确定性算法就会自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题 一般来讲，应该遵循以下准则： 如果网络的输入数据维度或类型上变化不大，设置  torch.backends.cudnn.benchmark = true  可以增加运行效率；
服务器运行scanpy报错““ImportError: dlopen: cannot load any more object with static TLS“ ”
人间飞羽
01-16 850
服务器运行scanpy报错““ImportError: dlopen: cannot load any more object with static TLS“ ”
cuda、torch、torchvision对应版本以及安装
热门推荐
李昂的博客
08-09 10万+
查找torch与torchvision对应版本 github链接：https://github.com/pytorch/vision#installation 在线下载或者离线下载 1、在线下载 在pytorch官网选择相应的历史版本，使用conda或者pip安装，使用官网的镜像下载很慢，建议使用其他的镜像源，这里我使用的是阿里的镜像速度还不错。 pip install torch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 -i https://mirror
cudnn版本_踩过cuda、cudnn的坑[持续更新]
weixin_39614228的博客
11-20 625
加载torch模型，测试数据.导致内存溢出，RuntimeError: CUDA out of memory. # 内存溢出运行一段时间，程序再崩：那估计就是代码中有加载到内存中的东西没有释放。如 运行plt模块会造成内存溢出，估计是plt模块未释放：plt.close("all")显卡问题的解决方案：# 禁用cudnn torch.backends.cudnn.benchmark = Flase...
linux上验证cudnn是否安装成功_Ubuntu安装和卸载CUDA和CUDNN的实现
weixin_29193259的博客
02-26 1197
前言最近在学习PaddlePaddle在各个显卡驱动版本的安装和使用，所以同时也学习如何在Ubuntu安装和卸载CUDA和CUDNN，在学习过程中，顺便记录学习过程。在供大家学习的同时，也在加强自己的记忆。本文章以卸载CUDA 8.0 和 CUDNN 7.05 为例，以安装CUDA 10.0 和 CUDNN 7.4.2 为例。安装显卡驱动禁用nouveau驱动sudo vim /etc/modpr...
RuntimeError: cuDNN version mismatch: PyTorch was compiled against but linked against
feitme的博客
06-02 949
RuntimeError: cuDNN version mismatch: PyTorch was compiled against 7102 but linked against 7102 是 cudnn 7.1.2 的意思 7605 是cudnn 7.6.5 的意思 重新安装一个cudnn就好了 这边就安装cudnn7.1.2
pytorch学习笔记——基础知识
hehehetanchaow的博客
04-10 802
1.读取图像数据 Pytorch自定义读取数据的方式，主要用到两个类：torch.utils.data.Dataset和torch.utils.data.DataLoader img = cv2.imread(os.path.join(base_path, path).strip()) img = torch.Tensor(img) import cv2 import os imp...
Pytorch中cudnn版本查询
weixin_34064653的博客
06-20 4548
问题： Disable or able cudnn，查询版本。 Disable cudnn for batch_norm: (See:@Microsoft / human-pose-estimation.pytorch#installation) # PYTORCH=/path/to/pytorch # for pytorch v0.4.0 sed -i "1194s/torch\...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值