Gaia - 一个使用Rust实现的Local LLM服务解决方案

最近发现一个不错的项目，Gaia （https://github.com/GaiaNet-AI/gaianet-node），它的功能是：

• 在本地运行下载的大模型LLM（通过wasmedge实现）

• 可以选择各种开源的LLM

• 实现了RAG，可自定义训练自己的知识库

• 实现了一种类似去中心化的模型，在本地启动LLM Chat服务，可为其它人提供LLM Chat服务

• 提供兼容 OpenAI 的接口

Localized LLM

在本地运行大模型现在是一个AI的热门方向，现在这块儿开源的比较火的项目有 Ollama 等。但是目前使用Rust实现的产品并不多，Gaia 算是一个选择，它采用的方案是 WasmEdge 提供的基于 wasm 的 LLM 运行方案。WasmEdge 是CNCF孵化项目，也是目前wasm生态最活的wasm runtime 之一，实现质量很高。

一般来说，这种在个人电脑上运行的LLM方案，都提供多种LLM供选择。

RAG

除了基本的LLM，Gaia集成了RAG，使用的是Rust实现的Qdrant。有了RAG，就可以方便地灌入和训练自己的知识库了。能够为各种场景定制不同的ChatBot。

Client as Server 模式

Gaia 的一个创新点是，它提供了一种客户端即服务器的模式。你在本地启动Chat Daemon服务后，你会得到一个类似于 https://0xf63939431ee11267f4855a166e11cc44d24960c0.gaianet.xyz 这样的访问地址，这是一个chat网页，比如长这个样：https://rust-learning.gaianet.network/chatbot-ui/index.html。你自己访问这个服务也是通过这个Web UI来聊天。

有意思的是，同样的地址，你发给你的朋友，他们也能用这个地址来访问你的电脑上提供的这个LLM Chat服务。据他们的说法，未来可以提供付费的方式。也就是说，如果你手上有个4090，你把Gaia跑起来给别人提供服务，是可以赚钱的！

具体可以参考他们的文档：https://docs.gaianet.ai/intro

Rust 专属机器人

我之前想过做一个Rust专属机器人，现在Gaia已经帮我们做好了。它把 Rust Book 灌了进去，大家可以玩一玩。访问地址是：https://rust-learning.gaianet.network/chatbot-ui/index.html

我在本地已经尝试了整个流程，从下载到可以chat，只花了几分钟时间，大家感兴趣的都可以尝试一下。看起来这是一个很promising的项目。