简单使用ollama

简单使用ollama

1 介绍

Ollama是一个开源的大型语言模型部署工具，它可以帮助用户快速在本地部署运行大模型。类似于Docker一样，仅仅用几行命令就可以运行一个大模型。

2 安装ollama

（1）参考网站

# 官网地址
https://ollama.com/

# Github地址
https://github.com/ollama/ollama

# 可使用的模型
https://ollama.com/library

（2）下载软件

# 下载地址
https://ollama.com/download

下载后一步步安装即可，自动会安装到C盘。

3 配置Ollama

由于Ollama在下载模型时，会自动下载到C盘，因此需要设置下载目录。方法如下：

设置模型下载路径

在环境变量中添加“OLLAMA_MODELS”，之后重启ollama，我把下载模型的目录设置在了"D:\ollama"目录下。

OLLAMA_MODELS

4 使用Ollama

使用帮助

ollama -h 

# 启动ollama
ollama serve

# 显示模型列表
ollama list

查看模型的信息

# 查看模型的
# '--license': 查看序列；
# '--modelfile'：查看模型文件；
# '--parameters'：查看模型参数；
# '--system'：查看模型系统；
# '--template'：查看模型模板
ollama show --modelfile qwen:0.5b

获取模型

# 拉取模型
ollama pull qwen:1.8b

# 推送模型
ollama push 

管理模型

# 拷贝一个模型
ollama cp qwen:0.5b my-qwen:0.5b

# 删除模型
ollama rm my-qwen:0.5b

运行模型

⚠️ 最常用，如果没有模型，会自动下载模型，默认的端口号是“11434”

ollama run qwen:0.5b 

使用生成的API访问

curl http://localhost:11434/api/generate -d '{
  "model": "qwen:0.5b",
  "prompt": "Why is the sky blue?",
  "stream": false
}'

使用对话的API访问

返回的是对话流。

curl http://localhost:11434/api/chat -d '{
  "model": "qwen:0.5b",
  "messages": [
    { 
        "role": "user", 
        "content": "why is the sky blue?" 
    }
  ]
}'

5 下载Qwen例子

（1）查找可用模型

# 可使用的模型
https://ollama.com/library

可以在模型库上查找需要的模型。

（2）下载Qwen1.5模型

在ollama的模型库上选择“qwen"

# Ollama上的仓库地址
https://ollama.com/library/qwen

选择简单的

ollama run qwen:0.5b