Windows下安装LLama-Factory

        在进行安装前，请先确认你的GPU能支撑起训练的显存。如果和可怜的我一样是4GB可以选择上云或者换一个好一点的显卡。并且确定你安装了显卡驱动版本在官方给的版本以上，如果没有安装，详细参考我的另一篇文章：LLama-Factory运行异常，CUDA没安装，nvidia-smi的版本假的？-CSDN博客

        注意nvidia-smi不一定是你的版本，我也被坑了一次，然后重新装了一遍。

一、下载LLamaFactory

       llama-factory地址，如果你使用git拉取代码，可能会因为网络问题拉取失败，可以多试几次，或者直接下载文件包。

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

二、环境准备

        针对LLamaFactory的安装软硬件环境，官方文档已经给出了软硬件的要求：

·        如果你有Python环境可以直接进行跳过以下步骤，如果你是conda选手需要创建虚拟环境并且激活环境。

        新建虚拟环境

conda create -n llama_factory python=3.11 -y

        激活虚拟环境

conda activate llama_factory

三、依赖安装

        确认你的Python环境生效，在你的LLama-Factory的文件夹下执行以下命令

        在LLama-Factory的官方文档中，有各个依赖，推荐是按需下载，我这里省事直接全部下载了

pip install -e .

        按需下载

pip install -e .[metrics,modelscope,qwen]

官方给的额外依赖项：torch、torch-npu、metrics、deepspeed、bitsandbytes、hqq、eetq、gptq、awq、aqlm、vllm、galore、badam、qwen、modelscope、quality

        安装torch依赖-->gpu版本

        这里你可以去官方链接找你的版本，只要下翻就能看见或者查看更多版本。这里一定要确认你的cuda版本，可以向下兼容，如果你是conda环境请选Conda。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

       安装成功可以在Python环境下使用下面命令，如果是True，则安装成功

import torch
torch.cuda.is_available()

         针对windows用户，官方要求安装bitsandbytes

pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl

        安装tensorboard与启用ModelScope Hub （这两个命令我没有在官方中看到必须，但我参考了其他博客试了一遍，对项目也没影响我也执行了）

pip install tensorboard

Set USE MODELSCOPE HUB=1

四、启动项目

        两种方式都可以

llamafactory-cli webui

或

python src/webui.py

         如果顺利：