LocalAI离线安装部署

dylan_白羊

已于 2024-10-21 22:10:42 修改

阅读量3.4k

点赞数 4

文章标签：人工智能机器学习 docker 算法

于 2024-07-12 15:31:10 首次发布

本文链接：https://blog.csdn.net/weixin_38255219/article/details/140380381

版权

简介

LocalAI是免费的开源 OpenAI 替代品。LocalAI 可作为替代 REST API，与 OpenAI（Elevenlabs、Anthropic……）API 规范兼容，用于本地 AI 推理。它允许您在本地或使用消费级硬件运行 LLM、生成图像、音频（不止于此），支持多种模型系列。不需要 GPU。它由 Ettore Di Giacinto创建和维护。

离线安装流程

源码链接：https://github.com/mudler/LocalAI
https://localai.io/basics/container/
前提: 需要能科学上网，镜像源只能在国外下载。

1.拉取镜像

docker pull localai/localai:latest-cpu
拉取的是干净的，里面没有任何模型
注意离线安装，不要拉取localai/localai:latest-aio-cpu版本的，这个需要在线下载依赖

2.运行服务

docker run -p 8080:8080 --name local-ai -ti localai/localai:latest-cpu

在这里插入图片描述

3.下载模型：https://huggingface.co/openai/whisper-large-v3

ggml-large-v3.bin
创建配置文件：

vim whisper-1.yaml

---
backend: whisper
name: whisper-1
parameters:
  model: ggml-large-v3.bin

模型文件和配置文件上传到服务器目录：/opt/models

4.挂载配置文件，启动服务

docker run -d -ti --name localai -p 8080:8080 -v /opt/models:/build/models localai/localai:latest-cpu

5.查看文件是否挂载成功：

docker ps
14dc8676c4ab
进入容器内部:
docker exec -it 14dc8676c4ab /bin/bash
model 目录在：/build/models

在这里插入图片描述

6.验证服务

在这里插入图片描述
说明离线导入模型成功，其他模型导入参照这个即可。

总结

模型配置文件格式一定要正确，否则导入会报错。