学习笔记：使用Ollama项目快速本地化部署Qwen 1.5模型

Ollama简介

Ollama是一个开源框架，专门设计用于在本地运行大型语言模型。它的主要特点是将模型权重、配置和数据捆绑到一个包中，从而优化了设置和配置细节，包括GPU使用情况，简化了在本地运行大型模型的过程。Ollama支持macOS和Linux操作系统，并且已经为Windows平台发布了预览版。

Ollama的一个重要优势是其易用性。安装过程简单，例如在macOS上，用户可以直接从官网下载安装包并运行。对于Windows用户，官方推荐在WSL 2中以Linux方式使用命令安装。安装完成后，用户可以使用命令行工具来下载和运行不同的模型。

Ollama还提供了对模型量化的支持，这可以显著降低显存要求。例如，4-bit量化可以将FP16精度的权重参数压缩为4位整数精度，从而大幅减小模型权重体积和推理所需显存。这使得在普通家用计算机上运行大型模型成为可能。

此外，Ollama框架还支持多种不同的硬件加速选项，包括纯CPU推理和各类底层计算架构，如Apple Silicon。这使得Ollama能够更好地利用不同类型的硬件资源，提高模型的运行效率。

Ollama部署qwen1.5模型

Ollama目前对于国产开源大模型只集成了Qwen1.5以及零一万物系列模型。

以下是我本地部署和运行Qwen1.5 7B模型的过程：

Ollama开源项目地址：

ollama/ollama: Get up and runnin