Pytorch模型部署之---------ubuntu 安装cuda,cudnn，tensorrt

目录

安装CUDA

CUDA是显卡厂商NVIDIA推出的运算平台。CUDA™是一种由NVIDIA推出的通用并行计算架构，是一种并行计算平台和编程模型，该架构使GPU能够解决复杂的计算问题。CUDA英文全称是Compute Unified Device Architecture。

有人说：CUDA是一门编程语言，像C,C++,python 一样，也有人说CUDA是API。
官方说：CUDA是一个并行计算平台和编程模型，能够使得使用GPU进行通用计算变得简单和优雅。
运行CUDA应用程序要求系统至少具有一个具有CUDA功能的GPU和与CUDA Toolkit兼容的驱动程序。
查看CUDA版本命令：nvcc -V 或nvcc --version或cat /usr/local/cuda/version.txt

每个版本的CUDA Toolkit 都对应一个最低版本的CUDA Driver（显卡驱动版本），详情见下表。CUDA Driver下载，CUDA Toolkit下载，CUDA Driver安装教程，CUDA Toolkit安装教程1，CUDA Toolkit安装教程2

安装CUDA Driver核心命令：sudo sh ./NVIDIA-Linux-x86_64-???.??.run
详细教程参考其他博客

需要知道：CUDA Toolkit和CUDA Driver显卡驱动有版本对应关系。
但同时：在同一台机器上（即同一个CUDA Driver版本）可以安装多个版本的CUDA（如CUDA 9.0、CUDA 10.1……只需要满足当前CUDA Driver版本支持安装的CUDA版本即可，满足关系见下图。

我的理解：安装CUDA就是安装CUDA Toolkit（也就是说不安装驱动），就是从官网下载CUDA Toolkit安装.run文件（如cuda_9.0.176_384.81_linux.run）进行安装。

官方文档

安装TensorRT

官网

指导文档

根据这个安装跟后面的cudnn

安装流程

安装cudnn

cudnn下载链接

按照要求进行下载

解压下载的文件，可以看到cuda文件夹，在当前目录打开终端，执行如下命令：

sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
 
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
 
sudo chmod a+r /usr/local/cuda/include/cudnn.h
 
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

验证安装

cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

zhongsy@zhongsy:~$ cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
#define CUDNN_MAJOR 8
#define CUDNN_MINOR 0
#define CUDNN_PATCHLEVEL 5
--
#define CUDNN_VERSION (CUDNN_MAJOR * 1000 + CUDNN_MINOR * 100 + CUDNN_PATCHLEVEL)

#endif /* CUDNN_VERSION_H */