Ollama：本地大模型运行指南-CSDN博客

本文链接：https://blog.csdn.net/qiwoo_weekly/article/details/138332270

Ollama是一个基于Go语言的本地大模型运行框架，支持多种大模型，如Llama和Gemma。用户可通过终端命令交互，使用API调用，或借助开源Web UI进行对话。本文介绍了Ollama的安装、模型下载、终端对话以及API的使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文作者为 360 奇舞团前端开发工程师

Ollama 简介

Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架。

官网：https://ollama.com/

GitHub 地址：https://github.com/ollama/ollama

Ollama 安装

下载安装 Ollama

在 Ollama 官网根据操作系统类型选择对应的安装包，这里选择 macOS 下载安装。安装完在终端输入 ollama，可以看到 ollama 支持的命令。

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

查看 ollama 版本

ollama -v
ollama version is 0.1.31

查看已下载模型

ollama list

NAME     ID           SIZE   MODIFIED    
gemma:2b b50d6c999e59 1.7 GB 3 hours ago

我本地已经有一个大模型，接下来我们看一下怎么下载大模型。

下载大模型

下载模型

安装完后默认提示安装 llama2 大模型，下面是 Ollama 支持的部分模型

Model	Parameters	Size	Download
Llama 3	8B	4.7GB	`ollama run llama3`
Llama 3	70B	40GB	`ollama run llama3:70b`
Mistral	7B	4.1GB	`ollama run mistral`
Dolphin Phi	2.7B	1.6GB	`ollama run dolphin-phi`
Phi-2	2.7B	1.7GB	`ollama run phi`
Neural Chat	7B	4.1GB	`ollama run neural-chat`
Starling	7B	4.1GB	`ollama run starling-lm`
Code Llama	7B	3.8GB	`ollama run codellama`
Llama 2 Uncensored	7B	3.8GB	`ollama run llama2-uncensored`
Llama 2 13B	13B	7.3GB	`ollama run llama2:13b`
Llama 2 70B	70B	39GB	`ollama run llama2:70b`
Orca Mini	3B	1.9GB	`ollama run orca-mini`
LLaVA	7B	4.5GB	`ollama run llava`
Gemma	2B	1.4GB	`ollama run gemma:2b`
Gemma	7B	4.8GB	`ollama run gemma:7b`
Solar	10.7B	6.1GB	`ollama run solar`

Llama 3 是 Meta 2024年4月19日开源的大语言模型，共80亿和700亿参数两个版本，Ollama均已支持。

这里选择安装 gemma 2b，打开终端，执行下面命令：

ollama run gemma:2b

pulling manifest 
pulling c1864a5eb193... 100% ▕██████████████████████████████████████████████████████████▏ 1.7 GB                         
pulling 097a36493f71... 100% ▕██████████████████████████████████████████████████████████▏ 8.4 KB