LLaMa-Factory部署及llamafactory-cli webui命令无法打开ui界面问题解决记录

vanilla_herb

已于 2024-12-13 21:22:56 修改

阅读量1.1w

点赞数 36

文章标签： llama python

于 2024-12-13 17:06:11 首次发布

本文链接：https://blog.csdn.net/m0_52080514/article/details/144453878

版权

最近想学习一下大模型微调，记录一下llama-factory的部署过程及遇到的一些问题。

LLaMa-Factory官方地址：hiyouga/LLaMA-Factory: Unified Efficient Fine-Tuning of 100+ LLMs (ACL 2024)

LLaMa-Factory服务器部署

部署部分参考如下：

【喂饭教程】20分钟学会微调大模型Llama3，环境配置+模型微调+模型部署+效果展示详细教程！草履虫都能学会~_哔哩哔哩_bilibili

LLaMA-Factory：手把手教你从零微调大模型！_llamafactory-CSDN博客

1、获取LLaMA-Factory

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

2、创建虚拟环境

conda create -n llama python=3.11.1
conda activate llama

3.环境配置

pip install -e ".[torch,metrics]"

安装过程中出现了超时错误（ReadTimeoutError），这通常意味着在尝试从 Python 包索引（PyPI）或其他源下载包时，连接超时了。

加上清华镜像源重新执行即可。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e ".[torch,metrics]"

安装完成后检查是否安装成功，在终端执行：

llamafactory-cli version

结果输出如下：

4.启动Web UI

启用命令：

export USE_MODELSCOPE_HUB=1 && llamafactory-cli webui

这将启动一个本地Web服务器，可以通过访问http://0.0.0.0:7860来使用Web UI。

今天在这个地方卡了很久，直接打开弹出的链接一直处于加载中的空白页面，复制链接在浏览器打开显示无法访问，下面是解决方法。

这部分主要参考：服务器使用llama-factory 无法在本地打开webui问题处理_llamafactory 本地访问-CSDN博客

解决方案：将链接转为公共链接。

llamafactory-cli webui执行之后会出来一行信息：

Running on local URL: http://0.0.0.0:7860

To create a public link, set `share=True` in `launch()`.

转为公共链接，将launch（）中的share参数改为True即可。

打开interface.py文件，路径为：LLaMA-Factory-main/src/llamafactory/webui/interface.py

将share参数修改为True

再次执行：

llamafactory-cli webui

这个时候还是私有链接，需要再进行一些修改。

Please check your internet connection. This can happen if your antivirus software blocks the download of this file. You can install manually by following these steps:

1. Download this file: https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_linux_amd64
2. Rename the downloaded file to: frpc_linux_amd64_v0.2
3. Move the file to this location:

/home/miniconda3/envs/llama/lib/python3.11/site-packages/gradio

按照提示的步骤操作即可。

从https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_linux_amd64下载文件
将文件重命名为：frpc_linux_amd64_v0.2
将文件移动到指定路径，在终端输入：

mv /LLaMA-Factory-main/frpc_linux_amd64_v0.2 /home/miniconda3/envs/llama/lib/python3.11/site-packages/gradio/

注：第一个路径为文件当前路径，第二个为目标路径。

最后，转到移动后的路径，设定权限

cd /home/miniconda3/envs/llama/lib/python3.11/site-packages/gradio/
chmod +x frpc_linux_amd64_v0.2

再次执行命令：

llamafactory-cli webui

结果如下：

成功打开！