使用ollama跨平台部署大模型

Ollama介绍

官方网站：https://ollama.com/
官方Github Repo：https://github.com/ollama/ollama
官方自我介绍：Get up and running with Llama 2, Mistral, Gemma, and other large language models.

Why Ollama

1、有模型仓库，一行命令拉取模型运行
2、llama.cpp加速，支持类llama的大量模型。
3、发布api，便于集成各种web ui
4、多模型并行，便于模型测评与切换
5、支持LLVA视觉模型
6、支持Nvidia、AMD显卡加速
7、adapt加载

缺点

1、必须使用gguf模型，经过量化
2、对于pt，safetensor模型需要进行转化
3、需要使用Modelfile配置chat模板，难以使用call tool

Ubuntu Linux X86平台部署

对于Linux平台，通过curl打开install.sh脚本下载。脚本的核心内容是下载ollama二进制文件。脚本文件自动下载bin包，注册ollama系统服务，创建ollama用户，检测显卡驱动。
命令执行完成后即可通过ollama指令操作服务。

$ ollama -h
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information