使用Ollama私有化部署本地大模型方案

最新推荐文章于 2025-02-14 08:22:23 发布

otqsoft

最新推荐文章于 2025-02-14 08:22:23 发布

阅读量2.3k

点赞数 14

分类专栏： python 文章标签：人工智能

本文链接：https://blog.csdn.net/otqsoft/article/details/143312692

版权

安装Ollama

Ollama 是一个用于运行和管理大型语言模型的工具，它是一个轻量级服务，可在本地环境中实现对模型的使用和管理，保证了数据的隐私和安全性。

Ollama 支持多种大型语言模型，例如 llama、phi、mistral、gemma 等，具有较强的功能扩展性，例如支持模型的下载、删除、更新等操作，方便用户对模型进行管理。同时，它还支持与其他工具和平台的集成，如 OpenAI 兼容的 API，进一步扩展了其应用范围和功能。

下载

访问 Ollama 官网，点击 “Windows” 按钮下载安装程序，然后双击安装程序进行安装。

在这里插入图片描述

安装完成后，打开 Windows 的命令提示符（PowerShell 等），输入 ollama -v（ollama --version） 查看安装版本。

在这里插入图片描述

若出现版本信息就代表ollama安装成功了。

配置

打开系统环境变量配置，添加一个环境变量 OLLAMA_MODELS，将其值设置为你指定的文件夹路径（例如 D:\ollama_model），这样可以避免模型文件自动保存在 C 盘（C:\Users\用户\.ollama\models）导致 C 盘空间不足。修改后在这里插入图片描述
重启终端（如PowerShell或CMD）以使更改生效。

模型安装

Ollama支持的模型列表

模型	参数	模型大小	安装
Llama 3.2	3B	2.0GB	`ollama run llama3`.2
Llama 3	8B	4.7GB	`ollama run llama3`
Llama 3	70B	40GB	`ollama run llama3:70b`
Phi-3	3.8B	2.3GB	`ollama run phi3`
Mistral	7B	4.1GB	`ollama run mistral`
Neural Chat	7B	4.1GB	`ollama run neural-chat`
Starling	7B	4.1GB	`ollama run starling-lm`
Code Llama	7B	3.8GB	`ollama run codellama`
Llama 2 Uncensored	7B	3.8GB	`ollama run llama2-uncensored`
LLaVA	7B	4.5GB	`ollama run llava`
Gemma	2B	1.4GB	`ollama run gemma:2b`
Gemma	7B	4.8GB	`ollama run gemma:7b`
Solar	10.7B	6.1GB	`ollama run solar`