【AI学习】在魔塔社区玩Ollama：部署GLM4和CodeGeeX4

看到文章《Ollama可以玩GLM4和CodeGeeX4了，快来魔搭玩起来》，参考的运行了一遍，折腾了一个晚上加一个上午，终于搞定了。本来很简单的事情，对这个代码小白，还是有点坑。。
GPU要明显快很多，CPU的速度，也还凑合吧。

个人尝试，整个过程如下：

1）启动魔塔社区的Notebook环境：

2）启动一个Terminal

3）在启动的Terminal输入以下命令：
先需要下载模型

modelscope download --model=LLM-Research/glm-4-9b-chat-GGUF --local_dir . glm-4-9b-chat.Q5_K.gguf

使用魔搭镜像环境安装，这一步是必须的：

modelscope download --model=modelscope/ollama-linux --local_dir ./ollama-linux
cd ollama-linux
sudo chmod 777 ./ollama-modelscope-install.sh
./ollama-modelscope-install.sh

启动Ollama服务

ollama serve

显示如下：

3）然后再启动一个Terminal
注意，需要另外启动一个Terminal
创建ModelFile
复制模型路径，创建名为“ModelFile”的meta文件，内容如下：

FROM /mnt/workspace/glm-4-9b-chat.Q5_K.gguf
#FROM /mnt/workspace/codegeex4-all-9b-Q5_K_M.gguf

# set parameters
PARAMETER stop "<|system|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|assistant|>"

TEMPLATE """[gMASK]<sop>{{ if .System }}<|system|>
{{ .System }}{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}{{ end }}<|assistant|>
{{ .Response }}"""

创建自定义模型
使用ollama create命令创建自定义模型

ollama create myglm4 --file ModelFile

运行模型：

ollama run myglm4

然后就成功了，显示如下：

4）也尝试了一下CodeGeeX4-ALL-9B 的Ollama部署

基本过程也一样
就是需要先下载模型：

modelscope download --model=LLM-Research/codegeex4-all-9b-GGUF --local_dir . codegeex4-all-9b-Q5_K_M.gguf

修改ModelFile，把“#FROM /mnt/workspace/codegeex4-all-9b-Q5_K_M.gguf”的注释取消，把“FROM /mnt/workspace/glm-4-9b-chat.Q5_K.gguf”注释掉

最后结果如下：