【LLM】Ollama框架入门指北

note

• Ollama是一个开源框架，专门设计用于在本地运行大型语言模型。它的主要特点是将模型权重、配置和数据捆绑到一个包中，从而优化了设置和配置细节，包括GPU使用情况，简化了在本地运行大型模型的过程。
• Ollama提供了对模型量化的支持，这可以显著降低显存要求。例如，4-bit量化可以将FP16精度的权重参数压缩为4位整数精度，从而大幅减小模型权重体积和推理所需显存。这使得在普通家用计算机上运行大型模型成为可能。
• Ollama框架还支持多种不同的硬件加速选项，包括纯CPU推理和各类底层计算架构，如Apple Silicon。这使得Ollama能够更好地利用不同类型的硬件资源，提高模型的运行效率。
• Ollama可以在命令行中直接进行使用，也可以作为服务通过api的形式进行访问。

一、Ollama框架介绍

官方信息：
Ollama官网：https://ollama.com/download
GitHub：https://github.com/ollama/ollamaOllama
文档：https://github.com/ollama/ollama/tree/main/docs

Ollama是建立在llama.cpp开源推理引擎基础上的大模型推理工具框架。得益于底层引擎提供的高效模型推理，以及多硬件适配，Ollama能够在包括CPU、GPU在内的，不同的硬件环境上，运行各种精度的GGUF格式大模型。通过一个命令行就能拉起LLM模型服务。

Ollama是一个开源的框架，主要用于在本地机器上便捷地部署和运行大型语言模型（LLM）。以下是关于Ollama的一些主要特点和功能：

• 简化部署：Ollama的设计目标是简化在Docker容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。
• 轻量级与可扩展：作为一个轻量级框架，Ollama保持了较小的资源占用，同时具备良好的可扩展性，允许用户根据需要调整配置以适应不同规模的项目和硬件条件。
• API支持：Ollama提供了一个简洁的API，使得开发者能够轻松创建、运行和管理大型语言模型实例，降低了与模型交互的技术门槛。
• 预构建模型库：Ollama包含一系列预先训练好的大型语言模型，用户可以直接选用这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源。
• 模型导入与定制：Ollama支持从特定平台（如GGUF）或其他深度学习框架（如PyTorch或Safetensors）导入已有的大型语言模型，并允许用户为模型添加或修改提示（prompt engineering）。

二、支持的模型

参考：https://ollama.com/library

Reference

[1] 一行命令使用Ollama运行任意魔搭GGUF模型
[2] 极速部署个人计算机 DeepSeek-R1 推理模型
[3] Ollama保姆教程
[4] 官方信息：
Ollama官网：https://ollama.com/download
GitHub：https://github.com/ollama/ollamaOllama
文档：https://github.com/ollama/ollama/tree/main/docs