Dalai: 在本地运行LLaMA和Alpaca的最简单方法

最新推荐文章于 2024-11-03 11:46:46 发布

2401_87189860

最新推荐文章于 2024-11-03 11:46:46 发布

阅读量1k

点赞数 12

文章标签： llama

本文链接：https://blog.csdn.net/2401_87189860/article/details/142654151

版权

Dalai简介

Dalai是一个由GitHub用户cocktailpeanut开发的开源项目,旨在为用户提供在本地机器上运行LLaMA和Alpaca等大型语言模型的最简单方法。该项目的主要目标是让普通用户能够轻松地在自己的计算机上部署和使用这些强大的AI模型,而无需复杂的配置和专业知识。

Dalai的核心优势包括:

跨平台支持:可在Linux、Mac和Windows系统上运行
低门槛:对硬件要求相对较低,大多数现代计算机都能运行
易于使用:提供简单的命令行界面和Web UI
灵活性:支持多种模型大小,可根据需求选择

安装和使用

系统要求

在开始安装Dalai之前,我们需要了解一下系统要求:

内存要求:
- 7B模型: 约4GB
- 13B模型: 约8GB
- 30B模型: 约16GB
- 65B模型: 约32GB
磁盘空间要求:
- Alpaca模型:
  - 7B: 4.21GB
  - 13B: 8.14GB
- LLaMA模型:
  - 7B: 全量31.17GB,量化后4.21GB
  - 13B: 全量60.21GB,量化后8.14GB
  - 30B: 全量150.48GB,量化后20.36GB
  - 65B: 全量432.64GB,量化后40.88GB

安装步骤

以下是在不同操作系统上安装Dalai的基本步骤:

Mac系统

安装Node.js 18或更高版本

运行以下命令安装模型:

npx dalai alpaca install 7B

或

npx dalai llama install 7B

启动Web UI:
```
npx dalai serve
```

Windows系统

安装Visual Studio,确保选中"Python开发"、"Node.js开发"和"使用C++的桌面开发"选项
在cmd(不是PowerShell)中运行模型安装命令:
```
npx dalai alpaca install 7B
```
启动Web UI:
```
npx dalai serve
```

Linux系统

安装Python 3.10或更低版本
安装Node.js 18或更高版本
运行模型安装命令:
```
npx dalai alpaca install 7B
```
启动Web UI:
```
npx dalai serve
```

安装完成后,打开浏览器访问 http://localhost:3000 即可使用Web界面。

Dalai Web UI

Dalai API

除了提供简单的命令行和Web界面,Dalai还提供了强大的API,可以让开发者将其集成到自己的项目中。以下是Dalai API的主要功能:

构造函数:
```
const dalai = new Dalai(home)
```
请求模型:
```
dalai.request(req, callback)
```
启动服务器:
```
dalai.serve(port)
```
与HTTP服务器集成:
```
dalai.http(http)
```

安装模型:

await dalai.install(model_type, model_name1, model_name2, ...)

查询已安装模型:
```
const models = await dalai.installed()
```

这些API功能使得Dalai不仅可以作为独立工具使用,还可以轻松集成到各种应用程序中,为开发者提供了极大的灵活性。

高级使用技巧

自定义安装路径: 使用--home参数指定自定义安装路径:
```
npx dalai llama install 7B --home ~/custom_path
```
更新到最新版本: 查看npm包页面获取最新版本号,然后运行:
```
npm install -g dalai@latest
```

Docker支持: Dalai提供了Docker支持,可以使用以下命令运行:

docker compose build
docker compose run dalai npx dalai alpaca install 7B
docker compose up -d

与现有Node.js应用集成:

const app = require('express')();
const http = require('http').Server(app);
dalai.http(http)
http.listen(3000, () => {
  console.log("server started")
})