简单使用ollama

最新推荐文章于 2025-03-18 10:14:10 发布

MasonYyp

最新推荐文章于 2025-03-18 10:14:10 发布

阅读量2.2k

点赞数 5

文章标签：运维

本文链接：https://blog.csdn.net/make_progress/article/details/139049522

版权

简单使用ollama

1 介绍

Ollama是一个开源的大型语言模型部署工具，它可以帮助用户快速在本地部署运行大模型。类似于Docker一样，仅仅用几行命令就可以运行一个大模型。

2 安装ollama

（1）参考网站

# 官网地址
https://ollama.com/

# Github地址
https://github.com/ollama/ollama

# 可使用的模型
https://ollama.com/library

（2）下载软件

# 下载地址
https://ollama.com/download

在这里插入图片描述

下载后一步步安装即可，自动会安装到C盘。

3 配置Ollama

由于Ollama在下载模型时，会自动下载到C盘，因此需要设置下载目录。方法如下：

设置模型下载路径

在环境变量中添加“OLLAMA_MODELS”，之后重启ollama，我把下载模型的目录设置在了"D:\ollama"目录下。

OLLAMA_MODELS

在这里插入图片描述

4 使用Ollama

使用帮助

ollama -h

在这里插入图片描述

# 启动ollama
ollama serve

# 显示模型列表
ollama list

在这里插入图片描述

查看模型的信息

# 查看模型的
# '--license': 查看序列；
# '--modelfile'：查看模型文件；
# '--parameters'：查看模型参数；
# '--system'：查看模型系统；
# '--template'：查看模型模板
ollama show --modelfile qwen:0.5b

获取模型

# 拉取模型
ollama pull qwen:1.8b

# 推送模型
ollama push

在这里插入图片描述

管理模型

# 拷贝一个模型
ollama cp qwen:0.5b my-qwen:0.5b

# 删除模型
ollama rm my-qwen:0.5b

运行模型

⚠️ 最常用，如果没有模型，会自动下载模型，默认的端口号是“11434”

ollama run qwen:0.5b

使用生成的API访问

curl http://localhost:11434/api/generate -d '{
  "model": "qwen:0.5b",
  "prompt": "Why is the sky blue?",
  "stream": false
}'

在这里插入图片描述

使用对话的API访问

返回的是对话流。

curl http://localhost:11434/api/chat -d '{
  "model": "qwen:0.5b",
  "messages": [
    { 
        "role": "user", 
        "content": "why is the sky blue?" 
    }
  ]
}'

在这里插入图片描述

5 下载Qwen例子

（1）查找可用模型

# 可使用的模型
https://ollama.com/library

可以在模型库上查找需要的模型。

在这里插入图片描述

（2）下载Qwen1.5模型

在ollama的模型库上选择“qwen"

# Ollama上的仓库地址
https://ollama.com/library/qwen

在这里插入图片描述

选择简单的

ollama run qwen:0.5b