CUDA torch reinstall 与杂谈

一 实用技巧

1 从cuda11升级到12

apt-get --purge remove "cuda*"
wget https://developer.download.nvidia.com/compute/cuda/12.1.1/local_installers/cuda_12.1.1_530.30.02_linux.run
sh cuda_12.1.1_530.30.02_linux.run
vim ~/.bashrc
export PATH=/usr/local/cuda-12.1/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
source ~/.bashrc
nvcc --version

报错解决

1（NO_PUBKEY A4B469963BF863CC）

apt-key adv --keyserver keyserver.ubuntu.com --recv-keys A4B469963BF863CC
apt-get update

2 无法找到名为libxml2.so.2的共享库文件

apt-get install libxml2
find / -name "libxml2.so.2"
# 在文件中添加该文件的路径，每行一个路径，保存并关闭文件
vim /etc/ld.so.conf

ldconfig

3 export CUDA_LAUNCH_BLOCKING=1

reinstall torch

学习地址

pip uninstall torch torchvision 
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu117

二 理论

1 CUDA Toolkit版本和CUDA驱动版本

将CUDA Toolkit比喻为一个工具箱，里面装满了开发GPU应用程序所需的各种工具。不同版本的工具箱可能包含不同型号的锤子、螺丝刀和扳手等工具。
将CUDA驱动比喻为连接GPU和操作系统的桥梁，它确保了数据和指令的正确传递，使得应用程序能够与GPU进行通信。

nvcc --version

此命令是由CUDA Toolkit提供的命令行工具，用于显示CUDA编译器的版本信息

2 容器运行时

容器运行时（Container Runtime）是一种负责在操作系统层面管理和执行容器的软件
常见的容器运行时包括Docker运行时（Docker Engine）、Containerd、CRI-O等，它们提供了统一的接口和功能，使得容器的管理和操作变得更加方便和可靠。

3 CUDA cuDNN TensorRT

cuda – 并行计算平台
cuDNN – cuDNN中包含了各种深度学习操作（比如卷积、池化等）的高效实现，使深度学习任务能够更快地在GPU上运行，
TensorRT – 生成高度优化的推理引擎

在一个大厨房（CUDA）里，cuDNN是一本专门用于深度学习烹饪的食谱书，提供了高效的烹饪方法。而TensorRT则是一个智能厨师，根据食谱书中的方法，进行烹饪优化，使得烹饪过程更快速、高效。