CMake find_package(CUDAToolkit) 报错，找不到 CUDA_CUDART

安装 llama-cpp-python 时，使用 GPU 版本，

• 系统版本是Ubuntu 22.04
• cuda 版本是 12.1

安装命令：

CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python

安装过程中报错，找不到 libcudart：

– Unable to find cudart library.
– Could NOT find CUDAToolkit (missing: CUDA_CUDART)

检查 cuda 目录（/usr/local/cuda），libcudart 在 /usr/local/cuda/lib64。
尝试 nvcc 命令，

Command ‘nvcc’ not found

出现这个错误就是cuda 的路径找不到。

解决办法

执行安装命令前，先把 cuda 路径加入到 PATH

export PATH=/usr/local/cuda/bin:$PATH

再执行安装命令：

CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python

安装成功。