LocalAI离线安装部署

简介

LocalAI是免费的开源 OpenAI 替代品。LocalAI 可作为替代 REST API,与 OpenAI(Elevenlabs、Anthropic……)API 规范兼容,用于本地 AI 推理。它允许您在本地或使用消费级硬件运行 LLM、生成图像、音频(不止于此),支持多种模型系列。不需要 GPU。它由 Ettore Di Giacinto创建和维护。

离线安装流程

源码链接:https://github.com/mudler/LocalAI
https://localai.io/basics/container/
前提: 需要能科学上网,镜像源只能在国外下载。

1.拉取镜像

docker pull localai/localai:latest-cpu
拉取的是干净的,里面没有任何模型
注意离线安装,不要拉取localai/localai:latest-aio-cpu版本的,这个需要在线下载依赖

2.运行服务

docker run -p 8080:8080 --name local-ai -ti localai/localai:latest-cpu

在这里插入图片描述

3.下载模型:https://huggingface.co/openai/whisper-large-v3

ggml-large-v3.bin
创建配置文件:

vim whisper-1.yaml
---
backend: whisper
name: whisper-1
parameters:
  model: ggml-large-v3.bin

模型文件和配置文件上传到服务器目录:/opt/models

4.挂载配置文件,启动服务

docker run -d -ti --name localai -p 8080:8080 -v /opt/models:/build/models localai/localai:latest-cpu

5.查看文件是否挂载成功:

docker ps
14dc8676c4ab
进入容器内部:
docker exec -it 14dc8676c4ab /bin/bash
model 目录在:/build/models

在这里插入图片描述

6.验证服务

在这里插入图片描述
说明离线导入模型成功,其他模型导入参照这个即可。

总结

模型配置文件格式一定要正确,否则导入会报错。

### LM Studio 中本地模型的读取和写入方法 #### 加载本地模型 为了加载本地模型,首先需要确保已经安装了必要的依赖库。通常情况下,LM Studio 支持多种类型的本地 AI 模型,如 LocalAi 和 Ollama 等[^1]。 在 Python 脚本中可以通过如下代码来初始化并加载指定路径下的本地模型: ```python from lm_studio import ModelLoader loader = ModelLoader() model_path = "/path/to/local/model" loaded_model = loader.load(model_path) ``` 这段代码展示了如何利用 `ModelLoader` 类从给定文件夹位置加载一个预训练的语言模型实例[^4]。 #### 配置模型参数 当成功加载了一个本地模型之后,还需要对其进行一些基本配置才能正常使用。这包括但不限于设置最大长度、温度系数等超参以及定义输入输出格式。对于某些特定应用场景来说,还可以自定义提示词模版以便更好地控制生成的内容质量[^2]。 #### 存储已训练或微调后的模型 完成一次完整的训练过程或是对现有模型进行了针对性调整后,保存这些改动是非常重要的一步。下面是一个简单的例子展示怎样把当前状态存盘至硬盘上某个目录内: ```python save_directory = "./saved_models/my_custom_model" if not os.path.exists(save_directory): os.makedirs(save_directory) loaded_model.save_pretrained(save_directory) ``` 上述片段实现了创建目标存储空间(如果不存在的话),接着调用了 `save_pretrained()` 函数将整个网络结构连同权重一起序列化成磁盘上的二进制文件形式永久保留下来[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值