llama-factory使用记录

安装Llama-factory工具及相关环境包配置:

git clone https://github.com/hiyouga/LLaMA-Factory.git 或者 wget https://github.com/hiyouga/LLaMA-Factory/archive/refs/tags/v0.8.3.tar.gz

其他相关环境包版本适配:

torch相关安装包链接:https://pytorch.org/get-started/previous-versions/
https://download.pytorch.org/whl/torch_stable.html

安装版本:
pip install torch-2.3.0+cu118-cp310-cp310-linux_x86_64.whl
pip install torchvision0.18.0 torchaudio2.3.0 --index-url https://download.pytorch.org/whl/cu118
transformers4.43.4
vllm
0.4.3
llamafactory==0.9.2.dev0(cd LLaMA-Factory目录下执行:pip install -e “.[torch,metrics]”)
datasets
accelerate
peft

执行llamafactory-cli webui命令,进入页面
webui页面使用备注:


dataset.json修改为dataset_info.json
在这里插入图片描述
在这里插入图片描述

### LLaMA Factory 使用教程 LLaMA Factory 是一个用于创建和管理大模型的工具集,特别适用于基于 LLaMA 架构的语言模型。为了启动 LLaMA Factory 的 Web UI 并进行操作,可以在代码单元格内输入如下命令: ```bash !GRADIO_ROOT_PATH=/${JUPYTER_NAME}/proxy/7860/ \ USE_MODELSCOPE_HUB=1 \ llamafactory-cli webui ``` 此命令配置了 Gradio 路径以及启用了 ModelScope Hub 支持来运行 Web 用户界面[^1]。 对于希望进一步了解如何使用 LLaMA Factory 进行中文处理的任务,可以访问专门为 LLaMA3 提供汉化支持及相关资源的仓库。该仓库不仅提供了多种经过调整优化后的模型版本,还包含了详细的训练、推理指南等内容[^2]。 如果倾向于采用 `text-generation-webui` 来构建演示应用,则可以直接利用这一方法。特别是当涉及到 GGUF 文件格式时,确保安装最新版带有 Qwen1.5 版本支持的 `llama.cpp` 库是必要的前提条件之一[^3]。 #### 安装与环境准备 在正式开始之前,确认已经设置好 Python 环境,并通过 pip 或其他方式安装所需的依赖库。对于特定功能模块如上述提到的支持新特性或文件类型的解析器,可能还需要额外下载对应的扩展包。 #### 启动服务端口映射 根据实际需求修改 `GRADIO_ROOT_PATH` 和 `USE_MODELSCOPE_HUB` 参数值,以便正确指向本地 Jupyter Notebook 实例的位置并启用相应的 API 接口。 #### 配置模型参数 进入 Web UI 页面后,按照界面上提示的信息填写必要字段,比如选择要加载的基础模型路径、设定超参等选项完成初始化工作。 #### 开始交互测试 一切就绪之后就可以上传待测数据集或是直接键入文本字符串来进行预测实验;同时也可以保存当前会话记录方便后续分析评估效果好坏。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值