安装CUDA，cuDNN，NCCL

xuanyu22

已于 2024-12-16 14:22:25 修改

阅读量2.1k

点赞数 27

分类专栏：安装环境文章标签：机器学习深度学习

于 2024-09-06 15:18:57 首次发布

本文链接：https://blog.csdn.net/qq_42693593/article/details/141955724

版权

CUDA

1. CUDA和pytorch的关系

参考资料：
https://www.cnblogs.com/yhjoker/p/10972795.html
https://blog.csdn.net/qq_39065196/article/details/111938048

Pytorch 与 cudatoolkit

使用 conda 安装 pytorch 时，conda 会为我们自动安装 cudatoolkit。它和英伟达官网提供的 CUDA Toolkit (即下载到 /usr/local/ 的 cuda-10.0 ) 不是同一个东西！CUDA Toolkit 提供了完整的开发 CUDA 程序所需的编译器、IDE、调试器、库文件、头文件。而对于 pytorch 来说，它使用 GPU 时只需要 CUDA 的 动态链接库 执行预编译好的 CUDA 操作即可。因此，有 cudatoolkit 之后，只要系统上存在与当前的 cudatoolkit 版本兼容的 Nvidia 驱动 (可以查看nvidia-smi中的驱动版本是否兼容)，编译好的 CUDA 操作就可以执行，不需要再安装 CUDA Toolkit

nvidia-smi 中的 CUDA version 表示当前显卡驱动最高能支持的 CUDA 版本。pytorch 的 cudatoolkit版本指其所编译好的 CUDA 操作版本。conda list 中查看到的 pytorch build 信息中的 CUDA 版本 (例如 py3.8_cuda10.2_cudnn7.6.5_0) 指该 pytorch 源码使用 cuda10.2 版本进行编译。conda install 的是编译好的发行库，其编译环境和主机环境兼容时才可使用

torch.version.cuda 也表示的是编译该 Pytorch release 版本时使用的 CUDA 版本

Pytorch 编译使用的 CUDA 版本

pytorch 只有在编译扩展的 CUDA 算子时，才会需要 CUDA Toolkit，这个时候才会和 /usr/local/, CUDA_HOME 扯上关系。网上所说的 pytorch CUDA 编译版本是编译 pytorch 源码以得到发行版时所用的 cuda 版本；pyto