Gaia - 一个使用Rust实现的Local LLM服务解决方案

最近发现一个不错的项目,Gaia (https://github.com/GaiaNet-AI/gaianet-node),它的功能是:

  • 在本地运行下载的大模型LLM(通过wasmedge实现)

  • 可以选择各种开源的LLM

  • 实现了RAG,可自定义训练自己的知识库

  • 实现了一种类似去中心化的模型,在本地启动LLM Chat服务,可为其它人提供LLM Chat服务

  • 提供兼容 OpenAI 的接口

Localized LLM

在本地运行大模型现在是一个AI的热门方向,现在这块儿开源的比较火的项目有 Ollama 等。但是目前使用Rust实现的产品并不多,Gaia 算是一个选择,它采用的方案是 WasmEdge 提供的基于 wasm 的 LLM 运行方案。WasmEdge 是CNCF孵化项目,也是目前wasm生态最活的wasm runtime 之一,实现质量很高。

一般来说,这种在个人电脑上运行的LLM方案,都提供多种LLM供选择。

RAG

除了基本的LLM,Gaia集成了RAG,使用的是Rust实现的Qdrant。有了RAG,就可以方便地灌入和训练自己的知识库了。能够为各种场景定制不同的ChatBot。

Client as Server 模式

Gaia 的一个创新点是,它提供了一种客户端即服务器的模式。你在本地启动Chat Daemon服务后,你会得到一个类似于 https://0xf63939431ee11267f4855a166e11cc44d24960c0.gaianet.xyz 这样的访问地址,这是一个chat网页,比如长这个样:https://rust-learning.gaianet.network/chatbot-ui/index.html。你自己访问这个服务也是通过这个Web UI来聊天。

有意思的是,同样的地址,你发给你的朋友,他们也能用这个地址来访问你的电脑上提供的这个LLM Chat服务。据他们的说法,未来可以提供付费的方式。也就是说,如果你手上有个4090,你把Gaia跑起来给别人提供服务,是可以赚钱的!

具体可以参考他们的文档:https://docs.gaianet.ai/intro

Rust 专属机器人

我之前想过做一个Rust专属机器人,现在Gaia已经帮我们做好了。它把 Rust Book 灌了进去,大家可以玩一玩。访问地址是:https://rust-learning.gaianet.network/chatbot-ui/index.html

d165ee155f67a114941fe1de6638daaa.png

我在本地已经尝试了整个流程,从下载到可以chat,只花了几分钟时间,大家感兴趣的都可以尝试一下。看起来这是一个很promising的项目。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值