4060显卡+LLaMA-Factory微调LLM环境准备——（一）安装cuda

最新推荐文章于 2025-04-07 22:31:08 发布
最新推荐文章于 2025-04-07 22:31:08 发布
阅读量3.9k 收藏 19
点赞数 28
分类专栏： LLM 文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Egolalal/article/details/140163878
版权

本地配置

系统：win10
**硬件：**i5-12490f+RTX4060

安装原因：

最近尝试在本地对开源LLM进行Fine-tune的时候，用到了LLaMA-Factory，在运行的时候，弹出未检测到GPU，后来才发现，是忘记安装cuda等环境导致的
LLaMA-Factory: https://github.com/hiyouga/LLaMA-Factory

本地测试方法：

GPU:

import torch
print(torch.cuda.is_available())  # 是否可以用gpu False不能，True可以
print(torch.cuda.device_count())  # gpu数量， 0就是没有，1就是检测到了

Cuda:

nvcc -V

出现以下内容，说明你本机安装过cuda了
image.png

安装过程：

安装前先简单了解下什么是cuda

CUDA(ComputeUnified Device Architecture)，是显卡厂商NVIDIA推出的运算平台。CUDA是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。
安装前先安装VS Community，因为不安装的话，直接安装Cuda会报错
下载链接： https://my.visualstudio.com/Downloads?PId=8228
下载前需要注册登陆账号，目前可以下载的版本可能只有2022版的，不过问题不大，也可以用
image.png
安装过程是傻瓜式操作，在选择工作负荷的时候，选C++桌面端开发
image.png
安装完成后，登录自己的账号（下载前注册的账号），然后关闭即可

去Nvidia 官网，下载CUDA：

https://developer.nvidia.com/cuda-12-2-0-download-archive?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exe_local
因为llama-factory要求的版本是11.8-12.2的，索性就下载安装一个12.2的版本
image.png
下载的文件大约3G左右
image.png
整个安装过程，也是傻瓜式操作，自定义安装中，可以看到安装CUDA的选项
image.png
后面一只下一步就好，安装完成后需要设置环境变量，一般默认安装路径都是一样的
image.png
设置好后，测试安装是否成功，如果出现下图，看到Build cuda_12.2表示安装成功了
image.png

这里大家可能有疑问，nvidia-smi执行后，右上角也会出现一个CUDA Version: 12.5， 这两个cuda版本有什么区别，其实CUDA有runtime api 和 driver api， nvcc -V显示的是runtime api， nvidia-smi显示的是 driver api， runtime api 是CUDA Toolkit install 安装的， driver api是GPU driver installer安装的， 所以这两个东西安装上并没有什么太大的关系
唯一需要注意的是，一般nvidia-smi的版本需要大于 nvcc -V显示的版本，像我安装的12.5>12.2，使用起来没有什么大问题
image.png

LLM - 使用 LLaMA-Factory 微调 Qwen2-VL SFT(LoRA) 图像数据集 教程 (2)
AGI
11-12 2955
LLaMA-Factory 是开源的大模型微调框架，用于高效地微调和部署大语言模型，支持多种预训练模型和微调算法，提供完整的工具和接口，对于预训练的模型进行定制化的训练和调整，以适应特定的应用场景。
9、LLaMA-Factory项目微调介绍
Andy_shenzl的博客
08-28 2650
LLaMA Factory是一个在GitHub上开源的项目，该项目给自身的定位是：提供一个易于使用的大语言模型（LLM）微调框架，支持LLaMA、Baichuan、Qwen、ChatGLM等架构的大模型。更细致的看，该项目提供了从预训练、指令微调到RLHF阶段的开源微调解决方案。截止目前（2024年3月1日）支持约120+种不同的模型和内置了60+的数据集，同时封装出了非常高效和易用的开发者使用方法。
【LLama-Factory】开源低代码大模型微调框架本地部署和使用保姆级教程！！！
weixin_43012017的博客
12-23 3783
LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。不想通过GitHub跳转到文档，可以通过下面的链接直接访问LLama-Factory官方文档。
4060显卡+LLaMA-Factory微调LLM环境准备——（二）安装cudnn
Egolalal的博客
07-04 1124
RTX4060 安装cudnn
LLAMAFACTORY血泪教程
最新发布
m0_73810807的博客
04-07 914
写的我好累
llama3 Llama-Factory微调中的问题（Llama-Factory提升无cuda）
qwwewq111的博客
07-18 1548
llama3 Llama-Factory微调中的问题（Llama-Factory提升无cuda）
RTX4060对应的cuda版本
qq_34425255的博客
06-06 1万+
【代码】RTX4060对应的cuda版本。
LLama-Factory运行异常，CUDA没安装，nvidia-smi的版本假的？
lx15983596831的博客
07-16 3002
cud 那我们如何更新我们的版本呢，根据你的需求和你电脑最大支持的版本，在官网重新下载CUDA Toolkit。在启动LLama-Factory时，一不小心哎呀，报错了，我都是按步骤安装的呀！详细的安装教程这里就不写了。安装成功后再执行，就会出现你最新安装的版本。开始正题：下面是我报的错，错的太多，也可以不用看，我下面解释。这怎么可能呢，我看了一下我的版本。CUDA 12.0在这里，我就觉得——我又行了，后来搜了一下。大家可以执行以下命令，查看你的cuda运行时版本，这才是我们真正使用的版本。
笔记本电脑本地部署ollama大模型（显存不足调用CUDA Unified Memory方法）
m0_67228616的博客
08-14 3万+
ollama个人部署
LlamaFactory可视化模型微调-Deepseek模型微调+CUDA Toolkit+cuDNN安装
寓教于乐。教己助人
02-15 4088
进行指令监督微调时， instruction 列对应的内容会与 input 列对应的内容拼接后作为最终的人类输入，即人类输入为 instruction\ninput。而 output 列对应的内容为模型回答。如果您对模型效果满意并需要导出模型，您可以在导出界面通过指定 模型、 适配器、 分块大小、 导出量化等级及校准数据集、 导出设备、 导出目录 等参数后点击 导出 按钮导出模型。instruction 列对应的内容为人类指令， input 列对应的内容为人类输入， output 列对应的内容为模型回答。
【01】LLaMA-Factory微调大模型——基础环境配置
H66778899的博客
07-16 2599
【01】LLaMA-Factory微调大模型——基础环境配置
LLaMA Factory多卡微调的实战教程
热门推荐
herosunly的博客
04-25 20万+
本文主要介绍了LLaMA Factory多卡微调的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试
基于AutoDL云计算平台+LLaMA-Factory训练平台微调本地大模型
琴智冰
01-21 1821
根据需求选择合适的GPU资源，例如NVIDIA RTX 4090等。：在WebUI中选择已下载的预训练模型（如通义千问7B-chat）。：根据需求设置微调的超参数（如学习率、批次大小、训练轮数等）。：实例启动后，通过平台的JupyterLab快捷工具进入。：选取包含深度学习环境的镜像，避免后续手动配置训练环境。：通过输入测试问题，验证模型的对话能力是否满足预期。：确保所选GPU资源的性能满足训练需求。：点击“开始微调”按钮，启动微调过程。：在WebUI中加载微调后的模型。：将微调后的模型保存到指定路径。
解决LLama Factory微调并量化大模型时cuda/pytorch/python/auto-gptq/vllm/的冲突的详细说明
闲云野鹤的博客
01-16 2567
用LLama Factory的微调并导出大模型时.​由于很多模块如之间的依赖关系复杂很容易造成版本冲突,主要涉及到cuda/pytorch/python/auto-gptq/vllm的版本选择.我在AutoDL上经实验了(高,低)两种组合能正常运行LLama Factory
CUDA和显卡驱动
anxinbuxinan的博客
05-03 1167
由于我的显卡是RTX4060，因此先选择RTX40系列，然后选择RTX4060，进行安装。
【CUDA】如何在 windows 上安装 Ollama 3 + open webui （docker + WSL 2 + ubuntu + nvidia-container）
Smileyan's blog
07-13 1万+
windows 上安装部署 Ollama3 + open webui
LLaMA-Factory环境安装-重点总结
Ding_zhaohai的专栏
05-14 2988
使用LLaMA-Factory可视化界面，配置模型加速方式的python虚拟环境-重点总结。
RTX4060安装pytorch-gpu （Cuda12.2）,[pytorch] torch.cuda.is_available() False,torch使用GPU运行，而不是CPU运行的操作指南
骨子里的偏爱
08-14 1万+
然后下载的cudnn,将三个文件夹中的文件分别复制粘贴到cuda安装的对应的目录下。以前安装的是torch的版本是cpu版本，我先剪切出去了，以防不成功。创建pytorch环境，我当前的是3.8.8，看第一幅图有版本。安装的过程有点慢，耐心等待即可。cmd中查看是否安装成功。
LLama-Factory训练显示未检测到CUDA环境
03-10
<think>好的，我现在要解决用户的问题：在使用LLaMA-Factory进行训练时遇到未检测到CUDA环境的问题。首先，我需要了解这个问题的可能原因以及如何排查。根据用户提供的引用内容，特别是引用[2]和引用[3]，可能需要从环境配置、CUDA可见性、依赖安装等方面入手。 首先，用户提到引用[2]中启动网页时使用了CUDA_VISIBLE_DEVICES=5,6,7的命令，这说明用户可能是在多GPU环境下运行，但可能没有正确设置CUDA环境变量，导致训练时检测不到CUDA。此外，引用[3]提到了克隆仓库和安装必要的库，可能涉及到PyTorch版本是否正确安装了CUDA支持的版本。 接下来，我需要考虑几个可能的解决步骤。第一步是验证CUDA是否安装正确。用户可以通过运行nvidia-smi和nvcc --version来检查CUDA驱动和工具包是否存在。如果这些命令无法执行，说明CUDA没有正确安装或者路径未配置，需要重新安装或添加路径。 第二步是检查PyTorch是否支持CUDA。用户应该确认安装的是GPU版本的PyTorch，可以通过pip list查看已安装的版本，并运行Python代码import torch; print(torch.cuda.is_available())来验证。如果返回False，可能需要重新安装PyTorch，确保与CUDA版本兼容。 第三步是设置CUDA_VISIBLE_DEVICES环境变量。引用[2]中提到启动时指定了可见的GPU，所以用户需要确认在训练脚本或命令行中正确设置了该变量。例如，使用CUDA_VISIBLE_DEVICES=0,1,2 python train.py这样的命令，或者在代码中使用os.environ["CUDA_VISIBLE_DEVICES"] = "0"。 第四步是检查LLaMA-Factory的依赖是否正确安装。用户需要进入项目目录，运行pip install -r requirements.txt，确保所有依赖项都已安装，特别是与CUDA相关的库。有时候，某些依赖可能需要特定版本的CUDA工具包，所以需要确认版本匹配。 第五步是更新显卡驱动。过时的驱动可能导致CUDA无法被检测到，因此建议用户更新到最新版本，并重启系统。 第六步是检查训练脚本的配置。用户需要查看配置文件或命令行参数是否正确指定了使用CUDA设备。例如，是否有--device cuda或类似的参数被正确设置。 第七步是查看日志和错误信息。用户应该详细阅读报错信息，确定具体是哪个环节导致的CUDA检测失败。根据错误信息，可以更精准地搜索解决方案，或者在GitHub的issue中查找类似问题。 最后，如果以上步骤都尝试过仍无法解决，建议用户联系LLaMA-Factory的开发者社区，提供详细的错误日志和环境信息，寻求进一步的帮助。引用[3]提到的安装步骤可能需要再次确认，确保所有步骤都正确执行，没有遗漏。 总结起来，解决这个问题的思路是逐步排查环境配置、依赖安装、CUDA设置以及项目配置等方面，确保每一步都正确无误。需要用户耐心检查每个环节，可能还需要查阅相关文档或社区讨论来找到解决方案。</think>针对LLaMA-Factory训练时未检测到CUDA环境的问题，以下是分步解决方案： ### 1. 验证CUDA基础环境 - 执行命令查看显卡状态： ```bash nvidia-smi ``` 若出现"command not found"，说明未正确安装CUDA驱动或未添加到PATH环境变量[^2] - 检查CUDA工具包版本： ```bash nvcc --version ``` 若显示版本号低于PyTorch要求的版本（如PyTorch 2.0+需要CUDA 11.8+），需升级CUDA工具包 ### 2. 检查PyTorch与CUDA兼容性 ```python import torch print(torch.__version__) # 应显示1.13.0+cu117等含"cu"标识的版本 print(torch.cuda.is_available()) # 必须返回True ``` 若输出False，需重新安装GPU版PyTorch： ```bash pip uninstall torch pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 ``` ### 3. 显式指定CUDA设备（关键步骤） 在启动命令前添加环境变量声明： ```bash CUDA_VISIBLE_DEVICES=0 python src/train_bash.py ... ``` 或使用多GPU（引用[2]中的方法）： ```bash CUDA_VISIBLE_DEVICES=5,6,7 llamafactory-cli webui ``` ### 4. 检查项目依赖 进入LLaMA-Factory目录执行： ```bash pip install -r requirements.txt ``` 特别注意安装日志中是否出现`nvidia-cublas-cu11`等CUDA相关依赖的安装错误 ### 5. 验证环境变量配置 在~/.bashrc或~/.zshrc中添加： ```bash export PATH=/usr/local/cuda/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH ``` 执行`source ~/.bashrc`后再次尝试 ### 6. 检查Docker环境（如适用） 若使用容器化部署，需确保： ```bash docker run --gpus all -it ... ``` 并在容器内安装对应版本的CUDA工具包 ### 7. 调试示例代码 创建test_cuda.py验证环境： ```python import torch assert torch.cuda.device_count() > 0, "未检测到CUDA设备" print(f"可用设备：{torch.cuda.get_device_name(0)}") ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值