【AI工作流】Ollama本地化大模型安装

最新推荐文章于 2025-03-26 15:31:00 发布

LLM教程

最新推荐文章于 2025-03-26 15:31:00 发布

阅读量1w

点赞数 13

文章标签：人工智能 langchain 知识图谱 RAG AI大模型本地化部署私有化大模型

本文链接：https://blog.csdn.net/AAI666666/article/details/145469781

版权

为了给以后的工作流和本地模型铺路，有必要说一下Ollama本地大语言后台的安装。

1.Ollama

在安装之前，有必要先说明一下Ollama是什么。

Ollama是一个大语言模型的服务后台，能够在零基础的前提下帮助用户轻松部署大语言模型。

其特点包括如下：

优点：Ollama后台服务能够帮助用户轻松搭建大语言模型服务，并且提供相应的API以扩展到其他如Dify等Web前台以及Obsidian等笔记软件，以最快的速度形成AI问答/AGENT/工作流等工作形式。并且Ollama提供模型免费下载，用户可以直接下载多种主流的开源大语言模型。同时Ollama支持不同系统，如windows、Linux、MacOS等

缺点：对于部分特殊的开源模型不支持/未收录，模型数量较大，用户需结合自己的需求自行分辨大语言模型的特点。

从多种角度来说，Ollama是目前最为快速、最方便的本地化大语言模型后台

2.Ollama的安装

2.1 下载Ollama

在下载前需要注意：

1、Windows系统需要在Windows10以上系统；

2、如果想要跑7b以上模型，建议显存在6g以上，内存16g以上，以独立显卡为佳，显卡以Nvidia为佳，非独立显卡将会用CPU来跑，速度会慢一大截。

Ollama下载地址为：

https://ollama.com

打开页面后出现官网，点击Download下载：

点击下载后即可下载对应的Ollama程序。下载完毕后双击一路下一步即可运行。

2.2 查看安装是否成功

如果安装成功，Ollama会出现在右下角：

出现这个图标即代表Ollama安装成功。

打开浏览器，并输入

http://127.0.0.1:11434

或

http://localhost:11434

如果显示出一行小字则代表Ollama服务运行成功。

2.3 Ollama模型下载路径相关设置

如果不想你的C盘因为下载大模型（很多都是几G到十几G甚至几十G）被占用太多空间，那么可以做如下设置，如果无所谓可忽略本条操作：

点击windows开始按钮或者直接点开开始菜单，选择设置，或者直接按下Windows快捷键win+i打开设置：

在搜索中输入系统变量

在弹出的窗口中选择环境变量，然后在新窗口中的用户变量中点新建，在弹出的小窗口中输入

变量名：

OLLAMA_MODELS

变量值：

（你想要存放大语言模型的路径，举例说明：我想把模型存放在E盘Github code文件夹下的OLLAMAMODEL这个文件夹中，那么变量值就输入如下）

E:\Github code\OLLAMAMODEL

点击确定，这个新变量会出现在你的用户变量中。

至于OLLAMA_HOST这个变量，在某种程度上对于Docker部署前台是不利的，所以不建议设置。

3.试运行Ollama

提前说明：如果上述操作成功，但以下操作未成功，需要重启一下电脑。

3.1 Ollama试运行（非大模型运行）

对电脑的windows按钮点右键，选择终端管理员/终端，当然win+r输入cmd启动命令提示符亦可，但是建议使用管理员权限：

在打开的黑色窗口中输入ollama，然后回车，如果出现下面的内容则表示服务正常：

如需插图图片、视频、小程序卡片、代码块，去微信后台弄更方便。

3.2 Ollama模型选择

进入Ollama的模型图书馆找找模型：

https://ollama.com/library

但是这个时候你肯定不知道应该搜索什么模型，也不知道自己的业务场景想法，所以这里推荐如下模型：

Qwen2：通义千问2大模型，对中文的支持能力非常不错，是我个人认为通用型中文开源模型中做的相当好的，配置一般的电脑推荐使用1.5B模型（CPU跑），7B模型（独立显卡较好）。至于更大的72B模型如果显卡能力不佳不建议尝试。

deepseek-coder-v2：如果你是程序员，那么deepseekV2一定是非常适合你的，deepseekV2用的MoE架构，反应速度不错，支持多种编程语言，可以理解为一个非常好的编程助手模型。

Phi3：微软的小模型，运行速度非常快，对空间占用很小，运行效果尚可，满足机器硬件不足的电脑本地跑模型。但是因为模型太小了，对于输入和输出能力效果是非常有限的。不过对于Phi3的中模型，我们可以收回以上的话，不过主语料是英文，所以中文能力一般。

以上是Phi3中模型截图

Llama3.1：目前最新的Llama模型，推荐使用8b模型，或者8b对应的量化模型（速度可以很快）。如果你的常用语言是中文，llama3.1可能并不是最适合你的。

command-r和command-r-plus：Command-r系列是我个人非常喜欢的一个大模型，在之前的9.8和9.11谁更大的问题上，是唯一一个回****答正确的大模型，并且模型非常规整，非常适合作为企业大模型使用。但是模型比较大，尤其是command-r+，104b的体量不是一般普通显卡能消受的，对硬件要求比较高。这个公司也出了很好的大模型aya，也是很好的作为性格赋予的数字人模型。

llava：一个非常推荐的多模态大模型，可以识别图片并进行输出，但是对中文支持很差，所以推荐使用llava的变体llava-llama3，对语言支持性更好。

bge-large和bge-m3：一个embeddings知识库压缩模型，并不是用于输出文字的，而是用于知识库压缩的，尤其是对中文文本支持能力较好，属于特殊的大模型。bge-m3是bge最新的模型。

3.3 Ollama模型下载

对于喜欢的大模型，选择对应的大模型，右边会自动出现运行的命令，点击右边的复制按钮，这里以最近被自媒体炒得很凶的llama3.1模型为例：

然后在黑色窗口中点右键复制到运行栏中并回车：

等待下载完成，有进度条，这个时间视网速而定。

下载完成后会自动运行（已经下载的将会直接运行，例如下面）：

这里可以直接输入问题并回车，即可得到答案：

4.结语

至此Ollama已经成功部署到你的电脑本地了

在后面的过程中将会介绍以Ollama作为核心展开个人知识库的建设。

由于开源大模型在持续更新，对语言大模型的需要用户根据自己的业务场景和需求进行判断。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望