ImportError: libnvrtc.so.12: cannot open shared object file: No such file or directory

sglang 安装后启动，出现如下bug
ImportError: libnvrtc.so.12: cannot open shared object file: No such file or directory

1. 确认 CUDA 版本

sglang 需要 CUDA 12.x 版本的支持。运行以下命令检查已安装的 CUDA 版本：

bash

nvcc --version

如果未安装 CUDA 或版本低于 12.x，你需要安装 CUDA 12.x。

2. 安装 CUDA 12.x

根据你的系统选择安装方式：

Ubuntu/Debian:

bash

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub
sudo add-apt-repository "deb https://developer.download.nvidia.c