AI智能体研发之路-工程篇（五）：大模型推理服务框架LocalAI一键部署

置顶 LDG_AGI

已于 2024-05-25 13:53:34 修改

阅读量2.1k

点赞数 20

分类专栏： AI智能体研发之路-工程篇文章标签：语言模型人工智能自然语言处理

于 2024-05-10 18:16:31 首次发布

本文链接：https://blog.csdn.net/weixin_48007632/article/details/138673899

版权

AI智能体研发之路-工程篇专栏收录该内容

6 篇文章 31 订阅

订阅专栏

博客导读：

《AI—工程篇》

AI智能体研发之路-工程篇（一）：Docker助力AI智能体开发提效

AI智能体研发之路-工程篇（二）：Dify智能体开发平台一键部署

AI智能体研发之路-工程篇（三）：大模型推理服务框架Ollama一键部署

AI智能体研发之路-工程篇（四）：大模型推理服务框架Xinference一键部署

AI智能体研发之路-工程篇（五）：大模型推理服务框架LocalAI一键部署

《AI—模型篇》

AI智能体研发之路-模型篇（一）：大模型训练框架LLaMA-Factory在国内网络环境下的安装、部署及使用

AI智能体研发之路-模型篇（二）：DeepSeek-V2-Chat 训练与推理实战

一、引言

二、排坑后的Local-AI安装教程

1.docker安装及curl测试

2.解决AIO镜像无法从hf拉取模型的问题

一、引言

今天开始写大语言模型推理服务框架的第三篇——LocalAI，前两篇见

大语言模型推理服务框架—Ollama

大语言模型推理服务框架—Xinference

这个框架相比于前两篇，如果服务器没办法科学上网，学习和使用难度都要上一个台阶，花了几个小时踩了几个坑，将排坑后的内容分享给大家，如果大家觉得有用的话，希望获得您的关注、收藏、点赞及评论。

二、排坑后的Local-AI安装教程

1.docker安装及curl测试

# 拉取LocalAI项目
git clone https://github.com/mudler/LocalAI

# 从hf-mirror.com镜像站下载luna-ai-llama2模型，存储在models目录中
wget https://hf-mirror.com/TheBloke/Luna-AI-Llama2-Uncensored-GGUF/resolve/main/luna-ai-llama2-uncensored.Q4_0.gguf -O models/luna-ai-llama2
#wget https://huggingface.co/TheBloke/Luna-AI-Llama2-Uncensored-GGUF/resolve/main/luna-ai-llama2-uncensored.Q4_0.gguf -O models/luna-ai-llama2

# 将提示词模版中的getting_started.tmpl复制到models目录并和模型文件同名+.tmpl后缀
cp -rf prompt-templates/getting_started.tmpl models/luna-ai-llama2.tmpl

# docker拉取并启动aio-gpu镜像
# 指定--models-path为/models
# 将宿主机/xxx/LocalAI/models与container内的models目录进行关联，方便在宿主机修改文件
docker run -tid --name local-ai -p 16080:8080 --gpus all  -v /xxx/LocalAI/models:/models   localai/localai:latest-aio-gpu-nvidia-cuda-12 --models-path /models

# 查看当前服务下的模型列表
curl http://宿主机ip:16080/v1/models
# 返回：{"object":"list","data":[{"id":"luna-ai-llama2","object":"model"}]}

# 测试模型是否启动
curl http://宿主机ip:16080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "luna-ai-llama2","messages": [{"role": "user", "content": "who are you?"}],"temperature": 0.9}'
# 返回：{"created":1715329633,"object":"chat.completion","id":"e24ccbb9-3908-4e92-b25a-f5861c2582ce","model":"luna-ai-llama2","choices":[{"index":0,"finish_reason":"stop","message":{"role":"assistant","content":"I am a 28-year-old software developer living in New York City.\u003c/s\u003e"}}],"usage":{"prompt_tokens":10,"completion_tokens":19,"total_tokens":29}}

几个注意的点：

如果服务器在境内且不能科学上网，需要将huggingface.co替换为hf-mirror.com，hf-mirror.com是huggingface.co的镜像站，完全复刻huggingface.co
镜像选择localai/localai:latest-aio-gpu-nvidia-cuda-12，aio（all-in-one）镜像内集成了文生文、文生图、图生文、语音转文本、文本转语音等模型，目标是方便使用多种模型，但其实每次使用都要现从huggingface.co上拉取，境内服务器苦不堪言
模型下载好，就可以用curl使用了，采用OpenAI兼容的API，这个还是不错的