驾辰龙跨Llama持Wasm,玩转Yi模型迎新春

 今年新年很特别,AI工具添光彩。今天就来感受下最新的AI神器天选组合“WasmEdge+Yi-34B”,只要短短三步,为这个甲辰龙年带来一份九紫离火运的科技感。

环境准备

这次用的算力是OpenBayes提供的英伟达RTX_4090*1、24GB显存、20核CPU、80GB内存、50 GB工作空间。可点击本链接Yi-34B-Chat-GGUF LlamaEdge demo - OpenBayes

进入工作空间后,点击页面上方的克隆,它将依据当前模板创建新的训练任务,并预装本次运行需要的各项文件:

1、Yi-34B-Chat-Q4_K_M GGUF 模型。

2、使用 LlamaEdge 运行大模型所需要的Wasm推理文件。

3、用于构建 chatbot 的 web UI。

注意:如果要使用web的chatbot,需要完成实名认证。

福利彩蛋:通过以下链接注册可获免费英伟达RTX 4090(官方售价1599美元,涨价60%还买不到)计算资源1h

注册 - OpenBayeshttps://openbayes.com/console/signup?r=wordsworth0126_GC2U大模型准备(重点)

本次使用的大模型是零一万物团队发布的 Yi-34B-Chat,该因优越的中英双语性能而受开发者广泛欢迎,获得全球开源评测“双料冠军”。

推理工具准备(重点)

本次推理使用LlamaEdge,它是一个基于Rust和WasmEdge的框架,可以实现本地开发与测试大模型应用,然后跨平台地运行应用。

WasmEdge是轻量级、安全、高性能、可扩展、兼容OCI的软件容器与运行环境。WasmEdge被广泛应用在 SaaS、云原生,service mesh、边缘计算、边缘云、微服务、流数据处理、LLM 推理等领域。

模型启动

1、SSH访问

打开电脑上的终端,通过 SSH访问OpenBayes工作空间。

ssh root@ssh.openbayes.com -p端口

2、安装WasmEdge和ggml plugin

输入以下命令安装 CNCF WasmEdge runtime 以及 ggml plugin。

curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install.sh | bash -s -- --plugin wasi_nn-ggml

安装后要启动容器

source /root/.bashrc

3、与模型交互

本项目提供了两种与模型交互的方式。        

3.1 通过 CLI 与大模型交互

使用下面的命令行,启动大模型,然后可以通过 CLI 与 大模型交互。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:/openbayes/input/input0/Yi-34B-Chat-Q4_K_M.gguf llama-chat.wasm -p chatml -r '<|im_end|>' -c 1024

这里要注意模型所在的路径(/openbayes/input/input0)。

3.2 通过 chatbot UI 与 大模型交互

1、先打开一个新的终端窗口,将 OpenBayes的8080 端口映射到本地。这一步需要 SSH 访问的密码。

ssh -vNL 8080:localhost:8080 root@ssh.openbayes.com -p端口

2、在原终端窗口使用下面的命令行,创建 API server

wasmedge --dir .:. --nn-preload default:GGML:AUTO:/openbayes/input/input0/Yi-34B-Chat-Q4_K_M.gguf llama-api-server.wasm -p chatml -r '<|im_end|>' -c 1024

这里要注意模型所在的路径(/openbayes/input/input0)。

3、API 服务器启动成功,出现 [INFO] Listening on http://0.0.0.0:8080 。在浏览器打开 http://localhost:8080/ ,这就可以搞搞大模型,调戏Yi-34B-Chat了。

(未完待续~)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值