驾辰龙跨Llama持Wasm，玩转Yi模型迎新春

最新推荐文章于 2024-10-30 18:09:06 发布

Words worth

最新推荐文章于 2024-10-30 18:09:06 发布

阅读量591

点赞数 9

文章标签： llama wasm

本文链接：https://blog.csdn.net/weixin_53443275/article/details/136145984

版权

今年新年很特别，AI工具添光彩。今天就来感受下最新的AI神器天选组合“WasmEdge+Yi-34B”，只要短短三步，为这个甲辰龙年带来一份九紫离火运的科技感。

环境准备

这次用的算力是OpenBayes提供的英伟达RTX_4090*1、24GB显存、20核CPU、80GB内存、50 GB工作空间。可点击本链接Yi-34B-Chat-GGUF LlamaEdge demo - OpenBayes

进入工作空间后，点击页面上方的克隆，它将依据当前模板创建新的训练任务，并预装本次运行需要的各项文件：

1、Yi-34B-Chat-Q4_K_M GGUF 模型。

2、使用 LlamaEdge 运行大模型所需要的Wasm推理文件。

3、用于构建 chatbot 的 web UI。

注意：如果要使用web的chatbot，需要完成实名认证。

福利彩蛋：通过以下链接注册可获免费英伟达RTX 4090（官方售价1599美元，涨价60%还买不到）计算资源1h

本次使用的大模型是零一万物团队发布的 Yi-34B-Chat，该因优越的中英双语性能而受开发者广泛欢迎，获得全球开源评测“双料冠军”。

推理工具准备（重点）

本次推理使用LlamaEdge，它是一个基于Rust和WasmEdge的框架，可以实现本地开发与测试大模型应用，然后跨平台地运行应用。

WasmEdge是轻量级、安全、高性能、可扩展、兼容OCI的软件容器与运行环境。WasmEdge被广泛应用在 SaaS、云原生，service mesh、边缘计算、边缘云、微服务、流数据处理、LLM 推理等领域。

模型启动

1、SSH访问

打开电脑上的终端，通过 SSH访问OpenBayes工作空间。

ssh root@ssh.openbayes.com -p端口

2、安装WasmEdge和ggml plugin

输入以下命令安装 CNCF WasmEdge runtime 以及 ggml plugin。

curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install.sh | bash -s -- --plugin wasi_nn-ggml

安装后要启动容器

source /root/.bashrc

3、与模型交互

本项目提供了两种与模型交互的方式。

3.1 通过 CLI 与大模型交互

使用下面的命令行，启动大模型，然后可以通过 CLI 与大模型交互。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:/openbayes/input/input0/Yi-34B-Chat-Q4_K_M.gguf llama-chat.wasm -p chatml -r '<|im_end|>' -c 1024

这里要注意模型所在的路径(/openbayes/input/input0)。

3.2 通过 chatbot UI 与大模型交互

1、先打开一个新的终端窗口，将 OpenBayes的8080 端口映射到本地。这一步需要 SSH 访问的密码。

ssh -vNL 8080:localhost:8080 root@ssh.openbayes.com -p端口

2、在原终端窗口使用下面的命令行，创建 API server

wasmedge --dir .:. --nn-preload default:GGML:AUTO:/openbayes/input/input0/Yi-34B-Chat-Q4_K_M.gguf llama-api-server.wasm -p chatml -r '<|im_end|>' -c 1024