Ollama：大模型一键部署工具，轻松安装DeepSeek到本地

最新推荐文章于 2025-04-30 11:45:16 发布
最新推荐文章于 2025-04-30 11:45:16 发布
阅读量1k 收藏 19
点赞数 30
文章标签： 人工智能 LLM 开源大模型 langchain llama deepseek 大模型部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pythonhy/article/details/145468497
版权

Ollama是什么？
Ollama是一款开源的本地大语言模型（LLM）运行框架，支持Linux/macOS/Windows多平台。它通过简单的命令行工具，让用户无需复杂配置就能在本地运行Llama、DeepSeek、Phi等前沿AI模型。通过智能化的依赖检测、自动GPU加速支持，以及轻量级架构设计，Ollama将大模型部署门槛降到新低。

核心功能亮点

  • 开箱即用：预置Llama3、DeepSeek-R1等20+热门模型库，支持ollama run命令直接调用

  • 硬件适配：自动识别NVIDIA/AMD显卡，智能安装CUDA/ROCM驱动组件

  • 跨平台：支持Docker部署，提供Python/JavaScript客户端库

  • 自定义扩展：允许通过Modelfile修改模型参数、添加个性对话模板

  • 资源友好：最小1.4B参数的moondream模型仅需829MB内存即可运行

三步完成安装（以Linux为例）

# 执行自动化安装脚本（支持amd64/arm64架构）  
curl -fsSL https://ollama.com/install.sh | sh  
  
# 验证安装结果（显示版本号即成功）  
ollama --version

安装过程自动完成以下关键步骤：

  1. 创建/usr/local/bin/ollama可执行文件

  2. 配置systemd服务实现开机自启

  3. 检测NVIDIA显卡时自动部署CUDA驱动

  4. 对WSL2环境进行特殊适配

实战：部署DeepSeek-R1模型

# 拉取最新版DeepSeek模型（约5.6GB）  
ollama pull deepseek-r1  
  
# 启动交互式对话  
ollama run deepseek-r1  
>>> 请用七言绝句描写江南春色

性能需求参考表

模型规模推荐内存典型响应时间
3B参数2GB+0.8秒/词
7B参数8GB+1.2秒/词
13B参数16GB+2.1秒/词
70B参数32GB+4.5秒/词

开发者进阶技巧

  1. 混合精度加速：在Modelfile中添加PARAMETER fp16 true启用FP16计算

  2. 多模态支持：使用llava模型解析图片ollama run llava "描述这张图 /path/to/image.png"

  3. API集成：通过REST接口调用模型服务

import requests  
response = requests.post('http://localhost:11434/api/generate', json={  
  "model": "deepseek-r1",  
  "prompt": "解释量子纠缠现象"  
})

总结
Ollama重新定义了本地大模型部署的便捷标准。无论是开发者快速搭建AI原型，还是研究者进行模型对比测试，亦或是普通用户探索生成式AI，通过其简洁的命令行交互和智能化的资源管理，让每个人都能在个人电脑上轻松驾驭前沿AI技术。配合DeepSeek等中文优化模型，更可解锁符合本土需求的智能应用场景。

项目地址：https://github.com/ollama/ollama

程序员为什么要学大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

Llama-Turbo
关注
‌【人工智能】Ollama，一个开源的大型语言模型（LLM）服务工具，旨在帮助用户简化在本地环境中部署和运行大模型的过程
本本本添哥
12-25 2608
Ollama 是一个开源的大型语言模型（LLM）服务工具，旨在帮助用户简化在本地环境中部署和运行大模型的过程。它提供了一种类似于Docker的简明易用框架，让用户可以通过简单的安装指令，在本地快速启动和运行各种开源大型语言模型，如Llama 2。Ollama是一个让用户能够在本地轻松运行大型语言模型的服务工具，大大降低了技术门槛，促进了大模型在个人开发者和企业中的应用。通过其提供的简易安装和广泛的模型支持，Ollama正在改变人们与大型语言模型交互的方式，使其更加便捷和高效。
基于 Ollama 工具的 LLM 大语言模型如何部署，以 DeepSeek 14B 本地部署为例
简简单单Onlinezuozuo
02-16 389
什么是 Ollama，它与 Llama 是什么关系Ollama 是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如 Llama 3、Phi 3、Mistral、Gemma 等开源的大型语言模型。通过访问 https://ollama.com/library 我们可以找到 Ollama 支持的模型列表。
目标检测中COCO评估指标中每个指标的具体含义说明：AP、AR
阿旭的博客
03-30 1224
目标检测中COCO评估指标中每个指标的具体含义说明：AP、AR
Ollama：零代码部署大模型，轻松玩转AI
会编程的吕洞宾的博客
02-22 3555
同局域网访问，检验是否可以，在另一台电脑浏览器中访问http://192.168.1.72:11434/，地址根据自己服务器地址更换。也可以在浏览器中输入如下地址http://127.0.0.1:11434/访问，出现如下内容说明安装成功。在[Service]标记下，添加如下内容，如下图所示（如果实在不理解什么涵义，直接添加下面内容就可以）重启ollama工具，在任务中找到ollama图标，然后右击鼠标右键，点击Quit Ollama。如果需要每次系统重启，ollama随机启动运行，在执行如下命令。
最强开源大模型？Qwen3 系列深度解析 + 本地部署指南！看到就是赚到！！
2401_85325557的博客
04-30 851
Qwen3（通义千问3）是阿里云Qwen团队推出的新一代开源大语言模型系列，涵盖密集模型和混合专家（MoE）模型多个规模。本次发布共开源了 6 个密集模型和 2 个 MoE 模型，参数量从 6亿 到 2350亿 不等。其中密集模型包括约0.6B、1.7B、4B、8B、14B和32B参数版本，MoE模型包括总参数约30B（激活参数3B）和235B（激活参数22B）的两种。所有模型均采用Apache 2.0开源许可，开发者可自由下载使用。
qwen3：32b本地部署
weixin_74870633的博客
04-30 407
链接：https://pan.quark.cn/s/009d774b6486。经过实测，4090显卡可以完美运行qwen3：32b，非常流畅丝滑。「ollama0.6.6」，点击链接即可保存。打开「夸克APP」。第二步打开cmd，输入代码，等待安装完成后即可使用。（我的微信小程序：错题举一反三AI练习）如果网络不畅，可以在夸克中下载。
最强开源大模型？Qwen3 系列深度解析 + 本地部署指南！
最新发布
xiaoganbuaiuk的博客
04-30 2030
Qwen3 支持在一个模型中无缝切换“
人工智能 - Ollama大模型部署工具 - Windows一键安装包v0.5.7.0 - 支持Llama2/Mistral本地化运行
02-26
本资源为Ollama官方Windows平台一键部署工具包（版本v0.5.7.0，构建号2265），包含： 核心文件：预编译Ollama引擎（集成CUDA 11.8加速库） 依赖环境：PyTorch 2.2.1 + Transformers 4.35.2（免手动配置） 模型模板：...
DeepSeek R1 Ollama本地化部署全攻略：三步实现企业级私有化大模型部署
热门推荐
理论都是虚的，代码才是王道。
01-28 1万+
Ollama作为当前最受欢迎的本地大模型运行框架，为DeepSeek R1的私有化部署提供了便捷高效的解决方案。本文将深入讲解如何将Hugging Face格式的DeepSeek R1模型转换为Ollama支持的GGUF格式，并实现企业级的高可用部署方案。文章包含完整的量化配置、API服务集成和性能优化技巧。
DeepSeek本地部署保姆级教程：7B/14B模型一键安装+GPU加速+隐私保护
02-24
本资源为VIP用户提供全网最完整的DeepSeek本地部署解决方案，涵盖从环境搭建、模型选择（1.5B至671B参数版本）、性能优化到隐私保护的全流程指南，附赠Ollama安装包、ChatBox可视化工具及GPU加速配置脚本，助你打造...
DeepSeek大模型一键部署解决方案：全平台多机分布式推理与国产硬件优化异构计算私有部署
风一样
02-13 6462
以上是关于如何安装 GPUStack 并在不同场景下部署 DeekSeek R1 模型的使用教程。了解更多信息。GPUStack 是一个低门槛、易上手、开箱即用的私有大模型服务平台。它可以轻松整合并利用各种异构 GPU 资源，方便快捷地为生成式 AI 应用和应用开发人员部署所需的各种 AI 模型。GPUStack 背后的研发团队具有全球顶级开源项目经验，项目的功能设计和文档都很完整，团队自项目初期便面向全球用户，当前已有大量国内外开源用户。团队致力于将国产开源项目推广到全球，值得关注。。
Qwen3发布，你要的本地部署教程来了
轻口味的专栏
04-29 3507
25年4月29日，阿里推出了最新的Qwen3模型，Qwen3是 Qwen 系列大型语言模型的最新成员，之前部署的还是Qwen2.5。Qwen3旗舰模型在代码、数学、通用能力等基准测试中，与 DeepSeek-R1、o1、o3-mini、Grok-3 和 Gemini-2.5-Pro 等顶级模型相比，表现均更加优异。另一方面，小型 MoE 模型。
手把手带你搞懂Deepseek-V3 低成本知识库，收藏这一篇就够了！！
2401_85325397的博客
01-20 1万+
1 可以通过 api 添加各种模型 2 上传文档就能本地新建知识库 3 各种 AI 工具直接打开 4 知识库配合 deepseek 3 ，加上 COT 提示词 效果不错 5 还能画图 6 有简单 Artifacts 功能，直接渲染代码 7 可以多个模型一起回答问题，就是样式是直接铺下来的。
Ollama大模型部署：一键搭建，无视环境配置，轻松上手！
m0_63171455的博客
03-10 1398
Ollama是一个支持在WindowsLinux和MacOS上本地运行大语言模型的工具。它允许用户非常方便地运行和使用各种大语言模型,比如Qwen模型等。用户只需一行命令就可以启动模型。跨平台支持WindowsLinuxMacOS系统。提供了丰富的模型库,包括QwenLlama等1700+大语言模型,可以在官网中直接下载使用。支持用户上传自己的模型。用户可以将等地方的ggml格式模型导入到ollama中使用。也可以将基于pytorch等格式的模型转换为ggml格式后导入。允许用户通过编写。
Ollama：一个在本地部署、运行大型语言模型的工具
weixin_59191169的博客
05-28 7809
所谓自定义模型就是不适用Ollama官方模型库中的模型，理论可以使用其他各类经过转换处理的模型Ollama库中的模型可以通过提示进行自定义。# 设置温度参数# 设置SYSTEM 消息SYSTEM """作为AI智能助手，你将竭尽所能为员工提供严谨和有帮助的答复。"""Modelfile文档One-API是一个OpenAI接口管理 & 分发系统，支持各类大模型。这里使用Docker快速进行部署。拉取镜像创建挂载目录启动容器访问IP:3001初始账号用户名为 root，密码为 123456。
Ollama是什么
RisunJan的博客
12-03 4422
Ollama是一个开源的、可以在本地运行大型语言模型的工具。它允许用户在自己的设备上部署和运行语言模型，而不必完全依赖云端服务。这在数据隐私等方面有诸多优势，比如用户担心数据发送到云端会产生安全风险，使用Ollama就可以在本地处理数据。
Ollama：本地运行大型语言模型的轻量级框架
十年运维开发经验的王义杰在此分享自己的知识和经验
02-24 2817
Ollama是一个轻量级、可扩展的框架，用于在本地机器上构建和运行大型语言模型（LLM）。它提供了一个简单的API来创建、运行和管理模型，以及一个预构建模型库，可以轻松用于各种应用程序。Ollama的出现，使得在本地运行大型语言模型变得更加容易和方便。Ollama是一个非常有用的项目，它为本地运行大型语言模型提供了一个简单、轻量级和可扩展的解决方案。我相信Ollama将会在未来得到广泛应用，并推动LLM技术的普及和发展。
全面认识了解DeepSeek+利用ollama在本地部署、使用和体验deepseek-r1大模型
tigerhhzz的博客
01-30 1万+
DeepSeek 是一家专注于人工智能领域的创新型科技公司；成立于2023年7月；公司名称：杭州深度求索人工智能基础技术研究有限公司。2025 年 1 月，其相关应用登顶苹果中国地区和美国地区应用商店免费 APP 下载排行榜，在美区下载榜上超越了 ChatGPT。受 DeepSeek 冲击，2025 年 1 月 27 日美国人工智能主题股票遭抛售，美国芯片巨头英伟达股价历史性暴跌，纳斯达克综合指数大幅下跌。发展历程及产品发布。
ollama deepseek 本地部署mac
02-06
### 如何在 MacOS 上本地部署 Ollama DeepSeek #### 准备工作 为了确保顺利安装，在开始之前确认 Mac 笔记本已连接互联网以便初次获取必要的资源文件。之后可以离线使用以保障隐私[^1]。 #### 安装 Ollama 工具链 对于 macOS 用户来说，推荐采用简便的一键脚本方式进行安装： ```bash curl -fsSL https://ollama.ai/install.sh | sh ``` 这条命令会自动检测操作系统并完成相应版本的 Ollama 下载与配置过程[^2]。 #### 配置环境变量 (如果需要) 大多数情况下，默认安装路径会被加入系统的 PATH 变量中，允许用户直接调用 `ollama` 命令。如果有特殊需求，则可能需手动设置环境变量来指向 Ollama 的二进制文件位置[^3]。 #### 启动服务 一旦安装成功，可以通过终端启动 Ollama 服务端口监听: ```bash ollama start ``` 这一步骤将初始化后台进程，并准备加载指定的人工智能模型实例。 #### 加载 DeepSeek 模型 针对希望使用的特定 AI 功能——即 DeepSeek 模型，执行如下指令实现加载： ```bash ollama pull deepseek-r1 ``` 此操作从远程仓库拉取预训练好的 DeepSeek-R1 版本至本地存储空间内待命。 #### 使用 Open-WebUI 进行交互 最后借助图形界面工具 open-webui 来简化同 DeepSeek 的交流体验。按照官方指引完成 web UI 组件搭建后，便可通过浏览器访问直观易懂的操作面板来进行后续任务处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值