大模型本地部署开源框架 Ollama 介绍

最新推荐文章于 2025-05-07 10:39:57 发布

LLM.

最新推荐文章于 2025-05-07 10:39:57 发布

阅读量964

点赞数 6

文章标签：本地化部署人工智能 LLM 程序员 ollama 大模型 AI

本文链接：https://blog.csdn.net/2301_81888214/article/details/147730369

版权

Ollama 是一个本地部署大模型的开源框架，降低了本地部署和管理大模型的门槛，且提供了丰富的开源大模型库，值得开发者学习和使用。本文简单介绍了 Ollama 的特性、应用场景，本地安装和运行大模型的步骤。

Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。Ollama 是 Omni-Layer Learning Language Acquisition Model 的简写，这代表一种新颖的机器学习方法，承诺重新定义我们对语言习得和自然语言处理的看法。

Ollama的关键特性：

本地执行：Ollama 的一个显著特点是其能够本地运行 LLMs，减轻了与基于云的解决方案相关的隐私问题。通过将AI 模型直接带到用户的设备上，Ollama 确保了对数据的更大控制和安全性，同时提供了更快的处理速度和减少对外部服务器的依赖。
丰富的模型库：Ollama 提供了丰富的预训练 LLMs 库，包括流行的模型（如，Llama 3）。用户可以具体的需求，针对不同任务、领域和硬件能力，选择合适的模型，确保了 AI 项目的灵活性和多功能性。
无缝集成：Ollama 可与各种工具、框架和编程语言无缝集成，使开发者能够轻松地将 LLMs 纳入他们的工作流程中。无论是 Python、LangChain 还是 LlamaIndex，Ollama 为构建复杂的 AI 应用程序和解决方案提供了强大的集成选项。
定制和微调：有了 Ollama，用户有能力定制和微调 LLMs 以满足他们的特定需求和偏好。从提示工程到少样本学习和微调过程，Ollama 赋予用户塑造 LLMs 行为和输出的能力，确保它们与预期目标一致。

Ollama 的出现，使得在本地运行大型语言模型变得更加容易和方便。Ollama 的应用场景有：

创意写作和内容生成：作家和内容创作者可以利用 Ollama 来克服写作障碍，头脑风暴内容创意，并在不同体裁和格式中生成多样化和吸引人的内容。
代码生成和辅助：开发人员可以利用 Ollama 的能力进行代码生成、解释、调试和文档编写，简化他们的开发工作流程并提高代码质量。
语言翻译和本地化：Ollama 的语言理解和生成能力使其成为翻译、本地化和多语言沟通的宝贵工具，促进跨文化理解和全球合作。
研究和知识发现：研究人员和知识工作者可以通过使用 Ollama，从大量的信息中进行分析、整合和提取洞察，提高知识获取的效率。涵盖文献综述、数据分析、假设生成和知识提取等场景。
客户服务和支持：企业可以部署由 Ollama 驱动的智能聊天机器人和虚拟助手，以增强客户服务，自动化常见问题解答，提供个性化的产品推荐，并分析客户反馈以提高满意度和参与度。
医疗保健和医疗应用：在医疗保健行业，Ollama 可以协助医疗文档编写、临床决策支持、患者教育、远程医疗和医学研究，提升医疗保健效率。

安装

以 windows 系统为例，安装步骤如下：

下载

进入官网下载页面（https://ollama.com/download），选择 windows 版本下载

安装

点击安装文件 OllamaSetup.exe，可直接进行安装。默认情况下，会安装在 C 盘上，会占用 C 盘的存储空间。可通过以下方式，变更 ollama 的安装路径：

打开 powershell，进入 OllamaSetup.exe，运行以下命令后（DIR 路径为安装路径，如"E:\developToolkit\ollama"），会出现安装弹框，点击 Install，即可将 Ollama 安装到指定的路径。

OllamaSetup.exe /DIR="E:\developToolkit\ollama"

Ollama 安装弹窗：

安装完成后，在 powershell 输入 "ollama -v "，输出 Ollama 的版本信息，说明已安装成功。

设置大模型存储位置

要改变 Ollama 存储下载模型的位置（默认是存储在 C 盘的用户目录，会占用 C 盘的大量存储空间），可通过设置环境变量 OLLAMA_MODELS 的方式，设置大模型的存储位置。

启动设置（Windows 11）或控制面板（Windows 10）应用程序，并搜索环境变量。
点击为环境变量。点击新建一个系统变量。
编辑或创建一个新的变量 OLLAMA_MODELS ，指定希望模型存储的位置。
点击确定/应用以保存。

运行

选择大模型

进入 Ollama 的模型页面，选择要运行的大模型：https://ollama.com/search

以 qwen2.5 模型为例，选择模型规格（如，3b），拷贝模型标识（qwen2.5:3b）

在 powershell 窗口，输入命令：ollama pull qwen2.5:3b，完成模型的下载。

输入命令：ollama list，即可查看到本地的模型清单。由于我们之前设置的环境变量 OLLAMA_MODELS，大模型会存储到 OLLAMA_MODELS 指定的目录路径。

运行大模型

输入命令：ollama run qwen2.5:3b，即可运行刚才下载到本地的大模型，可在终端与大模型对话。

也可以通过 api 的方式，与本地运行的大模型进行交互：

(Invoke-WebRequest -method POST -Body '{"model":"qwen2.5:3b", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

本文简单介绍了 Ollama 的特性、应用场景、安装、本地运行大模型。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望