在个人电脑一键运行谷歌最新 Gemma-2-9B 大模型

最新推荐文章于 2024-08-16 14:06:36 发布

小马不会过河

最新推荐文章于 2024-08-16 14:06:36 发布

阅读量496

点赞数 6

文章标签：人工智能 vscode ide 编辑器机器学习

本文链接：https://blog.csdn.net/m0_59163425/article/details/140831587

版权

谷歌最近发布了9B和27B大小的 Gemma 2模型[1]，这是其 Gemma 模型系列的最新型号。根据其技术报告，未来几天将开源一个 Gemma-2-2b 模型。技术报告还显示，Gemma-2-9B模型在多个基准测试中的表现超过了 Mistral-7B、Llama-3-8B和 Gemma 1.5模型。

如果想一键在你的计算机上运行 Gemma-9b-Chat，可以在终端中运行以下命令

bash <(curl -sSfL ‘https://raw.githubusercontent.com/LlamaEdge/LlamaEdge/main/run-llm.sh’) —model gemma-2-9b-it

本文将以 Gemma-2-9B 为例，手把手教你轻松

在自己的设备上运行 Gemma-2-9B on your own device
为 Gemma-2-9B 创建一个 API server

我们将使用 LlamaEdge[2] （Rust + Wasm技术栈）开发并部署该模型的应用。无需安装复杂的 Python 包或 C++ 工具链！了解我们为什么选择 Rust + Wasm[3]。

在你自己的设备上运行 Gemma-2-9B

第一步：用下面的命令行安装 WasmEdge[4].

curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install_v2.sh | bash -s -- -v 0.13.5

第二步：下载 Gemma-2-9B-it model GGUF 模型[5]文件。模型有6.40 GB，所以下载可能需要一定时间

curl -LO https://huggingface.co/second-state/gemma-2-9b-it-GGUF/resolve/main/gemma-2-9b-it-Q5_K_M.gguf

第三步：下载一个跨平台的可移植 Wasm 文件，是个聊天应用。该应用让你能在命令行中与模型聊天。该应用的 Rust 源代码戳这里[6]。

curl -LO https://github.com/LlamaEdge/LlamaEdge/releases/latest/download/llama-chat.wasm

就是这样。可以通过输入以下命令在终端与模型聊天。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-2-9b-it-Q5_K_M.gguf llama-chat.wasm -p gemma-instruct -c 4096

这个可移植的Wasm应用会自动利用设备上的硬件加速器（例如GPU）。

[You]:   Tell me what is gemma?      [Bot]:   Gemma is an open-weights AI assistant developed by Google DeepMind.      Here are some key things to know about Gemma:      * **Open Weights:** This means the underlying code and model weights are freely accessible to the public. Anyone can inspect, modify, or build upon Gemma.   * **Text-Only:** Gemma is designed primarily for text-based interactions. It can understand and generate human-like text but doesn't have capabilities like image recognition or voice synthesis.   * **Focus on Research & Development:** Gemma is intended as a tool for researchers and developers to explore and experiment with different AI models and techniques.      **Why is Gemma significant?**      * **Transparency and Collaboration:** Open-weights nature promotes transparency in AI development and encourages collaboration among researchers worldwide.   * **Customization:** Users can adapt Gemma to their specific needs by fine-tuning it on their own datasets.   * **Accessibility:**  Makes advanced AI technology accessible to a wider range of individuals and organizations, beyond those with large resources.      **Keep in mind:**      * Gemma is still under development and may have limitations compared to more mature, closed-source models.   * Its capabilities are primarily focused on text processing.

为Gemma-2-9b-it[7] 创建一个兼容OpenAI的 API server

一个兼容 OpenAI 的API 使得 Llama-3-8B-Chinese 能够与不同的开发框架和工具无缝集成，比如 flows.network[8], LangChain and LlamaIndex等等，提供更广泛的应用可能。大家也可以参考其代码自己写自己的API服务器或者其它大模型应用。想要启动 API 服务，请按以下步骤操作：下载这个 API 服务器应用。它是一个跨平台的可移植 Wasm 应用，可以在各种 CPU 和 GPU 设备上运行。

curl -LO https://github.com/LlamaEdge/LlamaEdge/releases/latest/download/llama-api-server.wasm

然后，下载聊天机器人 Web UI，从而通过聊天机器人 UI 与模型进行交互。

curl -LO https://github.com/LlamaEdge/chatbot-ui/releases/latest/download/chatbot-ui.tar.gz   tar xzf chatbot-ui.tar.gz   rm chatbot-ui.tar.gz

接下来，使用以下命令行启动模型的 API 服务器。然后，打开浏览器访问 http://localhost:8080[9] 开始聊天！

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-2b-it-Q5_K_M.gguf llama-api-server.wasm -p gemma-instruct -c 4096

另外打开一个终端窗口，可以使用 curl 与 API 服务器进行交互。

`curl -X POST http://localhost:8080/v1/chat/completions \     -H 'accept:application/json' \     -H 'Content-Type: application/json' \     -d '{"messages":[{"role":"system", "content": "You are a sentient, superintelligent artificial general intelligence, here to teach and assist me."}, {"role":"user", "content": "Write a short story about Goku discovering kirby has teamed up with Majin Buu to destroy the world."}], "model":"Gemma-2b-it"}'`

就是这样啦。WasmEdge 是运行 LLM 应用最简单、最快、最安全的方式[10]。快来试试看吧！

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述