本地快速部署谷歌开放模型Gemma教程(基于WasmEdge)
一、介绍 Gemma
Gemma是一系列轻量级、最先进的开放式模型,采用与创建Gemini模型相同的研究和技术而构建。可以直接运行在本地的电脑上,无GPU也可以运行,只用CPU即可,只不过速度慢点。
二、部署 Gemma
2.1 部署工具
使用 Linux 环境 + WasmEdge 一个工具部署Gemma,WasmEdge 用来运行模型。
WasmEdge:https://github.com/wasmedge/wasmedge
🤩 WasmEdge 是在您自己的设备上运行 LLM 的最简单、最快的方法。🤩
WasmEdge 是一个轻量级、高性能且可扩展的 WebAssembly 运行时。它是当今最快的 Wasm 虚拟机。WasmEdge 是CNCF主办的官方沙箱项目。其用例包括现代 Web 应用程序架构(同构和 Jamstack 应用程序)、边缘云上的微服务、无服务器 SaaS API、嵌入式功能、智能合约和智能设备。