使用Ollama部署GLM-4-9B

Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。Ollama支持多种操作系统，包括macOS、Windows、Linux以及Docker，适用性广泛。通过Ollama，用户可以方便地部署和运行GLM-4-9B 等开源的大语言模型。此外，Ollama还提供了包括网页、桌面应用和终端界面在内的多种互动方式，方便用户使用和管理这些模型。

一、模型下载

受显存限制，本篇内容使用的是GGUF模型

模型下载

glm-4-9b-chat-GGUF

modelscope download --model=LLM-Research/glm-4-9b-chat-GGUF --local_dir . glm-4-9b-chat.Q5_K.gguf

二、Linux环境使用Ollama

modelscope download --model=modelscope/ollama-linux --local_dir ./ollama-linux
cd ollama-linux
sudo chmod 777 ./ollama-modelscope-install.sh
./ollama-modelscope-install.sh

启动Ollama服务

ollama serve

创建ModelFile

复制模型路径，创建名为“ModelFile”的meta文件，内容如下：

FROM /mnt/workspace/glm-4-9b-chat.Q5_K.gguf

# set parameters
PARAMETER stop "<|system|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|assistant|>"

TEMPLATE """[gMASK]<sop>{{ if .System }}<|system|>
{{ .System }}{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}{{ end }}<|assistant|>
{{ .Response }}"""

创建自定义模型

使用ollama create命令创建自定义模型

ollama create myglm4 --file ModelFile

运行模型

ollama run myglm4

👇点击关注公众号获取

更多技术信息~