llama.cpp 编译和运行指南并支持CUDA

让llama.cpp最好的适配你的机器并支持CUDA，你需要确保你的系统安装了CUDA，并在编译过程中启用CUDA支持。以下是详细步骤：

1. 更新和升级系统首先，确保你的系统是最新的。打开终端并运行以下命令：bashsudo apt updatesudo apt upgrade

2. 安装必要的依赖llama.cpp可能依赖于一些开发工具和库。安装这些依赖：bashsudo apt install build-essential cmake git

3. 安装CUDA Toolkit要使用CUDA，你需要安装NVIDIA的CUDA Toolkit。如果你还没有安装，可以按照以下步骤进行安装：

添加CUDA存储库

wget https://developer.download.nvidia.com/compute/cuda/repos/$(lsb_release -cs)/x86_64/cuda-$(lsb_release -cs).pin sudo mv cuda-$(lsb_release -cs).pin /etc/apt/preferences.d/cuda-repository-pin-600sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/$(lsb_release -cs)/x86_64/7fa2af80.pubsudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/$(lsb_release -cs)/x86_64/ /"

安装CUDA Toolkitbashsudo apt updatesudo apt install cuda

添加CUDA到路径中在你的~/.bashrc文件中添加以下行：bashexport PATH=/usr/local/cuda/bin:$PATHexport LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH然后重新加载~/.bashrc文件：bashsource ~/.bashrc

4. 克隆llama.cpp仓库接下来，克隆llama.cpp的Git仓库：bashgit clone https://github.com/ggerganov/llama.cpp.gitcd llama.cpp

5. 编译项目（启用CUDA支持）在编译过程中启用CUDA支持。假设llama.cpp使用CMake，你可以传递一个CUDA选项给CMake：bashmkdir buildcd buildcmake -DUSE_CUDA=ON ..make

6. 下载模型文件llama.cpp需要模型文件才能运行。下载适当的模型文件并将其放置在项目目录中。假设我们需要下载一个名为llama_model.bin的模型文件：bashwget -O llama_model.bin http://example.com/path/to/your/llama_model.bin将下载的模型文件移动到项目目录：bashmv llama_model.bin ../

7. 运行模型确保你在项目目录中，然后运行模型：bashcd .../build/llama_app --model llama_model.bin

这样，你就可以在Debian系统上成功运行llama.cpp模型，并且启用了CUDA支持。

转自
https://ai-chatgpt.eu.org